高性能计算集群解决方案

需求分析

某单位高性能计算群集的需求覆盖了前处理、并行仿真和后处理全部业务流程,其中: 

Ø 高性能计算应用需求

l CAE、CFD仿真应用,如Fluent、CFX、TracePro等,命令行和图形界面两种模式; 

l 仿真前后处理应用如Ensight、ICEMCFD等; 

l 网格剖分一般为千万级,最大为上亿,远程交互操作必须保证流畅;

l 必须同时支持Linux和Windows XP版本的仿真前后处理应用。 

Ø 前后处理一体化需求

l 用户可以从工作室的桌面PC上通过远程可视化的方式使用机房里的图形工作站,进行仿真前后处理; 

l 从桌面PC可以调用高性能集群资源软件接口,提交作业到高性能集群中,进行批处理和交互式CAE、CFD仿真计算; 

l 桌面PC作为仿真计算和前后处理门户,用户在同一个桌面PC上就可以完成CAE、CFD的全流程工作; 

l 仿真计算和前后处理在桌面PC的操作流程无缝整合,实现仿真和前后处理一体化; 

l 一个桌面PC可以同时使用机房里的多个Linux和Windows XP机器进行仿真计算和前后处理工作,并能够灵活切换当前工作桌面; 

l 可根据不同应用的资源需求和当前工作站的负载情况,挑选最合适的图形工作站进行仿真前后处理,实现工作站集群的负载均衡;

l 用户可以快捷地把PC桌面发布到三维投影系统,投射到三维投影幕墙上; 

l 用户可以把当前工作桌面共享给其他几个用户的桌面PC,并提供操作权限,从而实现多个小团队的交互式协同工作; 

l 用户进行网格剖分的结果可以直接提交到高性能仿真集群中进行并行计算,在服务器端形成前处理-CAE/CFD仿真计算-后处理整个工作流程的闭环; 

l 为保证数据安全,所有设计模型和仿真数据和文件都保存在机房的共享存储上,不能任意下载;

l 管理员可以通过桌面PC完成工作站集群的管理工作。 

l 资源外部共享需求

l 能够提供接口,将部分集群计算资源和许可证资源共享给外部环境使用。

Ø 3D投影需求 

l 作为投影系统,要求具有大屏幕无缝拼接显示、高分辨率、高亮度、高信号带宽、高可靠性、人性化使用、低噪声、低维护复杂度和低维护成本等指标和功能。通过主动3D投影机搭载3D融合器在屏幕上呈现色彩亮度一致的整幅图像,形成逼真的立体视觉和触手可及的体验; 

l 使用画面分割器实现1屏、4屏、16屏3D投影的模式切换; 

l 通过融合器实现多通道无缝拼接情况下的多窗口显示,显示的窗口可以全屏任意变化位置、大小和其它重要参数;

l 大屏幕系统的安装和设置应美观大方,与系统周围环境、装修和设备布置协调;满足在仿真室内没有视角盲区并且显示效果良好;

l 系统能显示多种信息信号,包括二维平面仿真图形信号和三维立体仿真图形信号;在整个大屏设计时充分考虑操作的灵活性,使得信息可以根据需要灵活切换、灵活地以任意大小在任意位置显示,既可以根据预先设定的规则自动设置,也可以在某些情况下手动操作显示特定的信息;功能丰富、操作灵活简便、运行稳定;

l 整套3D投影系统具有可靠性、先进性、易维护性、实用性和可扩展性。 

Ø 仿真计算需求

l 管理和调度100个节点左右的高性能计算集群 

l 支持大规模CFD、CAE等仿真 

l 支持多种调度策略和管理手段

l 支持实时资源监控和多维度报表分析

针对用户高性能计算和前后处理的应用需求,我们建议采用XXX整合图形服务器和高性能计算资源,形成一个前后处理和仿真计算一体化平台。该平台主要提供以下服务:

l 前后处理远程可视化:从桌面PC通过远程可视化使用机房的图形服务器,进行CFD/CAE有限元网格前后处理;

l 批处理仿真计算:包括CFD(流体类仿真),CAE(结构强度、刚度、稳定性、动力响应、热传导、弹塑性等力学性能类仿真),电磁类仿真;

l 协同设计仿真优化:流体、结构、电磁等多目标、多学科的协同仿真迭代优化;

l 基于图形卡的弹性计算:充分利用图形服务器上图形卡的显示功能与计算能力,同时提供仿真前后处理阶段的显示功能与仿真阶段的计算能力。

该平台以服务器为中心,将为设计人员提供统一、高效、安全、可靠的大型前后处理平台和高性能仿真计算平台;并在用户使用和操作上实现一体化,用户和系统管理员只需要通过桌面PC机,登录同一个门户,完成所有的仿真前后处理、仿真计算和系统管理维护工作。同时,可以整合图形服务器上的CPU资源和GPU纳入到计算过程中,提高计算仿真计算能力,在实现软、硬件资源最大程度的共享的同时,提供更高的安全性和便利性,最大程度地提高IT投资回报,提高设计人员和系统管理员的工作效率。


解决方案

图片1.png 

1、本次高性能集群共分为两大区域,即为:机房区域与工作区区域。

2、高性能集群共分为4大计算资源池,即为:刀片计算资源池、胖节点资源池、GPU计算资源池、协同设计资源池。

3、高性能集群其他节点有:管理节点、许可节点、报表节点、门户节点、登录节点、I/O节点、存储节点等。

4、I/O节点与存储节点采用并行文件系统。

5、高性能集群网络分为infiniband网络(计算)和千兆以太网络(管理)。

6、高性能集群软件为景行,协同调度各个节点。

7、投影设备采用BARCO等。