集群系统发展趋势.pptVIP

集群系统发展趋势 郑纬民 清华大学计算机系高性能所 TOP 500(2003年11月)中的集群  Top500中的集群系统（节录） TOP 500(2003年11月)中的集群  从TOP500看集群系统 在高性能计算领域，集群系统已经成为主流的系统结构，并将进一步扩大其所占份额 在Top10中，集群结构占了7个，说明在构建超大规模计算系统的时候，集群是主要的系统构成方式 集群系统的发展趋势 64位系统逐渐成为主流 多种商业化的高速互连网络 SAN系统作为集群的存储设备 64位：突破2GB的系统内存瓶颈 科学计算 大规模模拟应用 三维网格模拟应用所需的内存可以轻易突破2GB 生物信息学 基因拼接等应用需要大量的内存，实际应用中内存不足是主要问题之一 素数运算 需要用到大量64位整数运算和大内存 64位：突破2GB的系统内存瓶颈 商业应用 海量数据处理 DB in memory 媒体播放服务器 大内存 高内存带宽 减少访问磁盘次数，可将性能提高近一个数量级 64位：新的设计理念 引发新的设计理念 现有的很多算法是基于内存不足设计的，因此很多精力花费在用时间换取空间上 64位系统提供了访问更大内存的机会，因此很多应用可能要基于新的理念进行设计，以获得64位所带来的好处 64位：不是万能灵药 并非所有用户都需要现在就转向64位 代码膨胀，性能反而可能会下降 需要根据自己的应用特性来分析 是否需要2GB以上的内存 是否有大量64位整数运算 如果上述问题的答案都是否，那么不一定能够从64位系统中得到预期的好处 某些应用可以从特定的64位处理器获得很大的性能提高，但这不是64位本身的特性，而是依赖于特定处理器，需要具体分析实际情况 集群系统的互连网络 评价互连网络的指标 延迟 带宽 功能支持 价格 集群系统的互连网络 集群系统的互连网络 功能支持 都支持MPI，除GB Ethernet外都实现了高效率的通信协议 SCI和Quadrics还提供了共享内存的支持，但是其远程通信延迟仍然在us数量级，对于细粒度的共享内存程序，仍然无法很好地支持（对比SGI Altrix系列的远程访问延迟在200ns以下） 集群系统的互连网络 主要运行粗粒度并行程序的小规模集群系统用户，可以使用千兆以太网进行互连 大规模集群系统中，千兆以太网很可能成为系统瓶颈，宜选取专用高速网络互连 InfiniBand因其规模效益，可能成为将来的主流互连设备 网络存储-可靠高效的存储方案 用户对存储的需求 可管理性：存储资源的一致管理，可扩展性 高性能－高带宽，并行文件访问 可靠－备份，快照，镜像 高性价比 资源管理（1）－本地存储方案 资源管理（2）－网络存储方案 可扩展性(1) 可扩展性(2) 可管理性－拥有成本对比 高性能－SAN的读带宽 高性能-并行文件系统 并行文件系统 支持多台主机对同一个磁盘分区进行同时读写 现有的并行文件系统 Lustre PVFS2 GPFS CXFS 可靠性－备份 可靠性－镜像 可靠性－快照 高性价比 现有的SAN解决方案非常昂贵 清华大学计算机系高性能所开发的SAN解决方案拥有全套软件解决方案 FC-SAN IP-SAN 备份，镜像，快照 完整的管理工具 已在胜利油田等部门得到实际应用 集群系统所面临的挑战 能耗问题 不仅仅是集群系统的问题 从芯片，单机和集群系统等多个层次来共同解决这个问题 管理性 监控 自我修复 管理信息的过滤与提取 分区 集群系统所面临的挑战 程序开发与优化问题 Cluster OpenMP? MPI 2会有更好的性能？ 如何更好地利用多个层次的并行性，MPI-OPENMP 混合编程还是仅用MPI? Core内的指令级并行 Core之间的并行 SMP内不同CPU的并行 SMP节点间的并行 总结 集群系统已经得到广泛接受，成为高性能计算机的主要体系结构 64位处理器，高速互联网络和SAN系统使得集群系统的能力更加强大，是今后一段时间集群系统的发展趋势 能耗、可管理性和程序开发问题是集群进一步发展所面对的挑战。 谢谢！ 计算机科学与技术系 Department of Computer Science and Technology * 资料来源：，2002年11月数据，共有93个集群系统进入 Top500排行。 TOP 500过去10年体系结构演化 TOP 500过去10年体系结构演化 805 340 326 248 100 Uni-directional Bandwidth (MB/s) 带宽最高 延迟最小 最便宜 说明 7.5 PCI-X InfiniBand 4x 5 PCI Quadrics III 1.4 PCI SCI 6 PCI-X Myrinet ~30-50 PCI G