大型阵列天线设计的HPC需求

概述

浙江省微波毫米波射频产业联盟

旗下杭州基尔区块链科技有限公司专注于采用区块链技术、高性能计算技术为电子系统、航空航天、集成电路等领域企业研发提供创新一体化解决方案。基尔科技以区块链基础平台，协同研发云平台为主要产品形式，为企业提供集成知识产权保护、远程接入、工程设计、高性能分布式计算、软硬件管理，数据管理的一体化解决方案，帮助企业快速、高效、低成本地实现产品迭代开发和上市销售。

大型阵列天线设计的HPC需求

在过去几十年里，天线广泛应用于广播、电视、无线电通信、雷达、导航、电子对抗、遥感、射电天文等领域。随着现代无线通信和雷达快速发展，天线和阵列也变得越来越复杂，例如具有更多程度的设计自由度、集成和制造限制以及设计目标。天线设计遵循着收发强质量且无环境影响信号的原则，因此速度、精度、功率、成本和尺寸是天线设计系统的重要参数。
       HFSS是设计天线的一个重要工具，基于有限元方法，擅长包括天线设计和布置在内的各种高频、全波、电磁应用，是一款业界领先的三维电磁(EM)仿真工具。近年来，天线的小型化、有限的信道带宽、缩短的设计时间以及天线与其他组件的相互作用给设计工程师带来了严峻的挑战。在天线的仿真计算过程中，HFSS自适应网格剖分耗时较久，剖分后的频点求解过程复杂。为了减少网格剖分细化的迭代时间，提高扫频计算速度，帮助设计师更快地完成天线设计任务，需要搭建适合业务场景的HPC设计平台。

HPC设计平台介绍

HPC设计平台概述

一套完整的HPC设计平台，由基础硬件与平台管理软件两部分组成。硬件层面，服务器、网络、存储三类硬件是平台能够良好运行的基础条件。针对不同的产品设计阶段，三类硬件所发挥的功能和要求的性能指标也不一样，在搭建基础平台时，如果没有针对公司的产品和不同的设计需求进行个性化配置，很容易造成设计资源不足，由于某个环境、节点瓶颈造成的整体性能下降问题。因此在规划HPC设计平台的初期，就应该针对公司产品不同的类型和设计要求，有选择的进行基础硬件的配置，尽可能的在同样预算的情况下，配置最优组合，既能满足使用要求，又能不造成硬件的过度投入，挤压了后续的扩展需求组。

HPC设计平台环境中节点众多，应用环境复杂，使用人数较多，需要一套专业、简易的平台管理软件对集群进行系统的管理、配置、维护，方便用户进行产品设计与大规模分布式计算。一款成熟的平台软件可以帮助系统管理员快速完成对设计环境、应用程序的部署，严格控制用户权限，可对单一节点或者批量执行节点的开机、关机、删除、允许，拒绝提交计算任务的操作。用户通过平台管理软件可以观察节点的设备状态，通过命令行、WEB界面、应用软件集成界面、作业脚本和可执行文件等多种方式灵活进行大规模的分布式计算仿真。总的来说，平台管理软件帮助用户提高大规模计算集群的使用效率，减轻集群运维负担。

HFSS仿真计算特点

图1  HFSS软件运行过程

1. 网格自适应剖分主要依赖于CPU的基频。天线模型越复杂，网格剖分时间越久，只关注CPU的核数而忽略频率，并不会提高仿真速度。
       2. 频点求解过程是多核并行计算的结果。由于剖分的单核计算占比较长，并行度有限，需要提供足够的核数和高频，以保证整个求解过程无死角瓶颈。
       3. HFSS计算过程是单核和多核交叉过程，对GPU要求不高。图形的几何顶点数据的计算，都是由CPU计算承担的，主要依靠单核，图卡任务得到图形的几何顶点数据生成图形，因此要让复杂模型流畅，显卡任务轻松，只有提升CPU频率解决。
       基于上述计算特点，采用平台管理软件配合HFSS使用，在网格求解阶段使用高主频，少核的硬件，在扫频或者扫参阶段使用多核，中主频的硬件，可以有效提高单任务和多任务仿真的速度和计算资源的使用效率。

硬件配置推荐

硬件详细参数

HFSS所能计算的问题规模与HPC计算平台的硬件配置CPU速度、内存容量、硬盘IO很大关联，内存容量越多，求解规模越大，CPU频率越高，计算速度越快。

基于HFSS仿真计算特点的分析，推荐使用2U 4节点高密度服务器，详细硬件参数推荐如下：

★ CPU：

网格剖分采用Intel@Xeon@ Golden 6244处理器，扫频与扫参采用Intel@Xeon@ Golden 6248R处理器，14nm制程，在基础频率与内存频率相匹配的情况下，单颗CPU可最大支持1TB内存，6个内存通道。

高密服务器每节点支持2颗CPU，设备配满8颗CPU，共有160核。

★ 内存

主要关注内存容量、通道数量和内存速度。建议使用大于2933MHz的内存，插满DIMM，每颗cpu的内存通道数跟内存条数相匹配。

★ 硬盘

服务器的本地存储建议选用全SSD，不要使用高速的SATA，性能差距较大。具有较短寻道时间的SSD将减少等待硬盘驱动器寻道读取/写入所有这些不同文件的时间，有助于数据后处理。

★ 网卡

至少选择10G网络，大于2个节点并行可选择IB互联，随集群规模增大，可以搭建更高速互联（大于40 Gbps）。

高密服务器也可以换成浪潮i24或超聚变FusionServer X6000系列。

平台管理软件

KTeam是基尔科技自主研发的一套成熟的商业高性能协同设计管理软件，系统架构可以分为硬件层、系统软件层、集群软件层、应用环境层和应用层，KTeam及其相关服务涵盖了硬件层以上、应用层以下的三层，即系统软件层、集群软件层和应用环境层，这是保证行业应用能在集群硬件设备上运行的基本条件，如图2所示：

图2 平台系统架构

注：EDA/CAE软件 license需客户自行提供

在集群软件层，KTeam提供集群部署、工作台、平台管理、文件管理、用户管理、集群监控、作业调度、作业调度管理、集群统计等功能模块，同时提供网页端实现界面交互操作界面。这些功能集中管理和监控系统中所有节点的资源，实现了整个集群系统的单一系统映像，使用户感觉只是在使用一台计算机。
       在应用软件层，基尔科技在行业软件领域具有丰富的应用经验，帮助用户完善其并行环境，完成实施后还将为用户进行功能与性能测试，评估用户集群效率，进行系统调优。
       普通用户与系统管理员可通过Web界面对平台系统进行操作和管理。KTeam主要包括KTeam Cockpit和KTeam Console两个子套件，分别提供给前端普通用户与后端系统管理员使用，功能模块涵盖工作台、作业管理、文件管理、集群监控、数据统计、应用管理、用户管理、日志管理、调度策略管理等。下图是KTeam的软件组成示意。

图3 KTeam架构

KTeam为普通用户提供了高效、实用的设计工作台接入和使用方式，可从Web页面上直接远程接入指定工作台，支持网页端和客户端两种途径。用户可以通过共享桌面的方式将工作台分享给其他用户进行协同工作。用户可以采用多种方式进行计算仿真作业的提交，包括命令行、Web界面、应用软件界面、作业脚本和可执行文件。KTeam还具有丰富的文件管理功能，通过Web界面可进行浏览、新建、在线编辑、实时浏览、上传、下载等操作，方便用户进行文件管理。KTeam中核心的作业调度管理以适配多种高性能计算场景，如IC设计、电磁场仿真、结构，力，热仿真、FPGA设计等，可实现对计算节点、队列、调度策略、预留资源的配置，方便系统管理员对平台进行资源管理，并且支持多种调度策略。同时系统管理员可控制用户(组)的权限，控制每个用户(组)的资源限额，防止内存溢出，过度消耗系统资源的情况出现。KTeam具有丰富的统计功能，针对用户或用户组提供小时、日、月的作业和应用软件使用等统计信息,可依次生成不同格式的报表。KTeam的监控系统，可直观的显示集群拓扑视图，节点的闲忙状态。节点性能视图中用户可通过图形方式，监控当前节点各部件的状态，包括CPU平均使用率、内存使用率、磁盘剩余量，节点网络吞吐率等。

HPC集群拓扑图

图4  HPC集群拓扑

1、高速计算节点采用前述服务器配置用于快速仿真；设计节点用于提供图形环境，只绘制三维模型，不进行运算；

2、存储节点提供数据共享及高速读写，预算充足情况下可选用集中式专业存储如NetApp，Dell EMC，预算有限情况下可采用通用服务器搭建全闪存整列；

3、平台管理软件安装于独立服务器，用于统一管理平台的仿真任务，提供大规模并发功能。作业并发功能集成于HFSS设计环境，不影响设计师设计习惯。

4、设计、计算、存储采用万兆网络互连，降低数据传输延时，需要时也可升级至IB网络。

 

客户案例

某研究院天线设计室设备较为零散，多为仿真工作站，随着部门任务增多，各型号平台天线、相控阵天线及热仿真等需求量不断增加，经常出现多用户并行作业，所以造成了服务器使用冲突、处理能力有限、访问速度慢等问题。
       下图为客户提供32×32＝1024个天线阵列单元在高性能设计平台进行HFSS仿真测试的结果。

模型测试条件如下：

仿真计算时长为原环境的三分之一：

基于客户以上出现的痛点，基尔科技通过为客户搭建HPC设计平台，极大改善了客户仿真时效、运算能力、数据管理、操作环境等严重滞后的情况。

审核编辑 ：李倩