当有限元分析软件在超级计算机上的移植和开发

有限元分析软件在超级计算机上的移植和开发

摘要：

本文首先介绍了“神威I”超级并行计算机的配置和性能，其次论述了商业性大型有限元软件NASTRAN在“神威I”系统上进行二次开发的思路和实现方案，把S依照部份规范的要求TRAN强大的有限元分析能力与超级计算机的高性能计算能力结合起来，扩大了分析规模，提高了分析速度；然后用算例说明开发功能的正确性和高效性；最后对神威机的应用前景进行了展望。

一 、引言

伴随计算机和计算方法的蓬勃发展，科学计算已经成为继理论和实验之后，人类认知世界的第三大支柱。高性能计算能力及相关技术更是当今世界竟相争夺的战略制高点，是衡量一个国家综合国力的重要标志之一。国内外各种超级计算机应运而生。“神威”、“银河” 和“曙光”等超级计算机的研制和使用，说明我国在超级计算机硬件技术方面已达到国际先进水平。另一方面，作为数值计算方面的一个重要部分，各种有限元分析软件在航天航空、汽车、机械、建筑、化工等各个领域获得广泛应用。在技术上超级计算机一般是源代码兼容，国内超级计算机不能直接安装商业性有限元软件，更严重的是西方国家政府在高性能计算硬、软件方面，对我国进行严密控制，因此我国自主研制的超级计算机在工程领域的应用受到极大的限制。

从头开始为“神威I”开发并行有限元分析软件需要极大的工作量和各个方面技术人员的投入，因此需要很长的时间和雄厚的资金。而从有限元分析的理论和实践可以知道：有限元分析最主要的分析时间应用在科学计算（对于结构分析，主要是求解线性方程组和稀疏矩阵特征值求解），而这些计算的并行化开发开始得较早，相对成熟一些，有一些软件是可以免费拥有源码的。由此提出一个问题：能否通过对可以公开获得的串行有限元分析软件和超级计算机的科学计算软件库结合进行二次开发和系统集成，从而形成具有自主知识产权的超级计算机有限元大型分析软件？在上海市信息化办公室信息化专项资金的大力资助下，上海交通大学和上海超级计算中心经过一年多的研究和开发，成功地将商业性有限元分析软件NASTRAN在“神威I”超级计算机系统上进行了移植和并行计算功能的二次开发，从而为超级计算机应用软件的开发探索一条新的途径，同时为工程界应用高性能计算提供了平台。

二、神威I超级计算机系统简介

“神威I”计算机是一台可缩放的大规模并行处理的超级计算机系统。它吸收和发展了国际上巨型计算机的先进设计思想和技术，采用同构、分布共享主存储器、平面格栅体系结构，是一台多指令流、多数据流的并行处理系统，其峰值运算速度高达每秒3840亿次浮点结果，主存容量48GB，磁盘容量1.28TB。整个系统主要由主机系统、前端系统、磁盘阵列系统和软件系统组成。“神威I”超级计算机适用于需要高速、大容量并行处理的各种计算领域。

“神威I”计算机软件系统主要包括以下几个方面：分布式并行操作系统、各种并行程序设计语言、并行程序开发及支撑环境、科学计算软件库、外围局域系统、分布式数据库管理系统、科学计算可视化系统等等。其中，并行程序设计语言主要包括并行C、高性能FORTRAN（HPF）、并行FORTRAN、OpenMP及并行Java语言。科学计算软件库主要包括了HPF语言科学计算库和基于PVM/MPI的科学计算库。并行程序开发及支撑环境主要有PPME、PVM、MPI等。

三、开发的思路和实现方案

现有商业性大型有限元分析软件，例如：TRAN、STRAN，具有很高的开放性，这些软件允许用户对其进行二次开发。通过开发，可以充分发挥商业性有限元软件在前后处理、人机交互界面等方面的优势。到目前，NASTRAN软件的并行处理功能也十分有限。本课题的总体开发思路就是充分利用大型并行计算机的速度优势，将有限元分析中最占用时间的方程求解、特征值求解部分移植到神威机上完成。采用二次开发工具PCL和DMAP编程技术，实现了商业性有限元软件和超级计算机并行计算软件的无缝集成和可视化集成。

在各种有限元分析软件中，包括NASTRAN，静力分析、模态分析、屈曲分析、动态响应等是最基本和最常用的分析功能，因此有限元软件在“神威I”上移植，首先应该考虑这些功能的并行化。本课题的目标是对上述四个基本模块的并行计算功能的开发。对静力分析模块，关键的计算是求解大规模稀疏矩阵线性方程组。动态响应分析也是类似的问题，不过其右端项随着时间（迭代步数）而变化，而且与以前的求解结果有关系。只要步长取得适当，这种简化仍能取得相当精确的结果。对于模态分析过程，关键的计算是求解大规模稀疏矩阵广义特征值问题。屈曲分析则是静力分析和模态分析的综合。从上面的分析可知，对有限元分析软件基本功能的计算并行化的核心问题是对大规模稀疏矩阵方程组求解和特征值计算。

串行处理版本的NASTRAN软件安装在“神威I”的前端机上（ALPHA工作站），并行计算需要在主机上进行，于是从前端机到主机的文件传输需要消耗时间，通过实际测算，在NASTRAN的静力分析计算中，解方程的时间约占整个分析过程的30％～50％。在模态分析和动态响应分析中数值计算的时间占到分析时间的90％甚至更高。由此可见，开发的关键是神威机上的求解程序具有极高的效率，足以补偿矩阵输入、输出带来的额外的时间损耗。

易用性的问题也是本课题考虑的重要因素。由于系统的最终用户可能对神威机了解不多，因此有关的选项、设置最好在用户熟悉的PATRAN界面下完成。

图1所示为课题完成后在“神威I”超级计算机平台上运行NASTRAN的流程图。

我们已完成NASTRAN软件在“神威I”上的移植开发，包括静力分析、动态响应分析、模态分析和屈曲分析模块（各分析模块在NASTRAN中的代号分别为101，109，103，105）。其中，101和109模块的并行方程求解采用了直接法和迭代法两种方法，分别对其进行了并行程序设计。103和105中的方程求解部分则只采用了直接法，以著名软件包PARPACK为基础编写了并行求解程序。以NASTRAN求解结果为基准，主机并行求解程序准确性很高。迭代法一般精确到5~6个有效数字，直接法精度更高。实例验证发现并行开发后的分析程序的分析时间明显缩短。对NASTRAN的求解序列进行了重新编制，在确定了整个求解序列并验证其正确性后，将此序列重新编译、连接，建立了新的s101、s103、s105、s109序列。这可以简化今后任务文件（.bdf）的生成和提高执行速度。

在可视化集成方面，为了较好地与PATRAN程序集成，开发程序采用PATRAN自带的PCL语言编写，保(2)铝合金型材拉伸一定要在铝合金型材冷却到50度以下(裸手能紧握)方可移到拉伸架上进行拉伸作业证了编程的方便和界面风格的一致性。系统所有的参数设置操作放在PATRAN界面下完成，因此在PATRAN主窗口下增加了一个下拉式菜单“SuperComputer”。点击菜单相应项可弹出一个界面，其中可以设置前端机名称、所用CPU数、如果客户在使用上遇到甚么问题可和时的反馈给我们分区名称等等。在下一级界面中可以设置并行求解程序的各个具体参数。图2所示为并行分析的用户界面。

图2：并行分析的用户界面

通过大量算例，我们发现不同的有限元单元类型、不同的单元数量，并行计算加速比差别较大；同一种单元类型，单元数量一定，存在一个加速比最高的CPU数量；在目前所开发的4个模块中，静力分析模块加速比最差，动态响应分析模块加速比最高。

四、实例

利用本课题开发的NASTRAN的并行分析功能，对某型号的新型压缩天然气城市公交客车进行了力学性能分析。

建立了包括车身骨架梁单元、内外蒙皮的板壳元模型，考虑内外蒙皮的影响，考虑到计算精度和计算机容量与运算速度的协调，故单元划分的不至于过细，共计：壳单元Quad4 8166个，梁单元Bar2589个， 结点8738个。 计算工况包括：静力分析（静弯曲、扭转、紧急制动、急速转弯）、模态分析、瞬态响应分析（一车轮过凸台）等。图4为车身瞬态响应局部变形图。与微机计算相比，本课题开发的基于“神威I”并行计算分析加速效果明显，大大节约了分析时间，分析结果可靠。

图3：车身瞬态响应局部变形图

五、结论和展望

本课题开发的系统通过了由上海市科委组织的鉴定，鉴定结论认为：“该项目在有限元并行计算领域填补了国内空白，方案设计具有创新性，系统达到了国际先进水平。具有很好的应用前景及良好的社会和经济效益”。

商业性大型有限元分析软件NASTRAN在“神威I”超级计算机上的并行化开发成功，为超级计算机应用软件的开发探索一条新的途径，同时为工程界应用高性能计算努力突破铁基铜基新材料、特种合金材料、硅基新材料、化工新材料、稀土功能材料、纳米新材料、石墨烯、新能源材料等关键核心技术提供了平台，在如下方面具有广泛的应用前景：（1）大型复杂结构的强度和刚度分析，像卫星、火箭这类特复杂结构，在保证足够的强度、刚度下，如何实现轻量化设计？像三峡大坝这类特大型结构的安全性能整体分析，超级计算机静力学、动力学分析模块可用于研究这类特大型或特复杂型结构的应力和应变分布。（2）大型复杂结构的振动和噪声分析，结构系统的固有频率和振型对其振动和噪声特性有决定性影响，历史上多次发生因共振导致桥梁倒塌的惨剧。超级计算机动力学模态分析模块可用于研究像桥梁、高层建筑这类特大型工程结构振动和噪声特性。（3）大型复杂结构的稳定性分析，在现代航天、航海和大型建筑中，广泛采用薄壳和珩架结构。这种结构在特定载荷情况下，可能发生失稳破坏。超级计算机屈曲稳定性分析模块可用于研究特大型复杂结构在特定载荷下的稳定性，确定结构失稳的临界载荷。

NASTRAN软件4个基本分析模块在“神威I”超级计算机上的并行化开发成功，也为有限元分析软件的更多功能在超级计算机上的开发奠定了基础，今后我们将开发新的并行计算的功能，同时把已开发的并行分析功能广泛应用于工程实践。

致谢

本文所涉及课题“商业性大型有限元分析软件在‘神威I’超级计算机上的并行化移植和开发”得到上海市信息化办公室信息化专项资金项目的支持，得到江南计算技术研究所的技术支持，在此一并表示感谢。

参考文献

[1] 周树荃，梁维泰，邓绍忠．有限元结构分析并行计算，北京：科学出版社，1994

[2] 百峰杉，数值代数，湖北：华中科技大学出版社，2001

[3] 舒继武，赵金熙，张德富，解大型稀疏线性方程组的一种有效并行ICCG法，计算机工程与应用，1999.7，

[4] Louis K. stran 2001 Numerical Methods User’s Guide, MSC Software,2001.