并行计算基本概念课件.pptVIP

主要内容w并行计算w并行计算系统基础w并行计算基本概念w几种典型的benchmark2023/9/6星期三并行计算基础知识1/66

并行计算基本概念wParallelcomputing、highperformancecomputing、high-endcomputingnThesimultaneoususeofmorethanonecomputertosolveaproblem.w多计算机-网络w多进程/线程-通信w并行计算环境w加速比/可扩展性2023/9/6星期三并行计算基础知识2/66

并行计算系统基础w并行计算机分类w主流并行计算机系统比较w机群并行计算环境2023/9/6星期三并行计算基础知识3/66

并行计算机分类w根据指令流和数据流的不同，通常把计算机系统分为：单指令流单数据流（SISD）n单指令流多数据流（SIMD）n多指令流单数据流（MISD）n多指令流多数据流（MIMD）nw并行计算机系统绝大部分为MIMD系统，包括并行向量机（PVP，ParallelVectorProcessor）；n对称多处理机（SMP,SymmetricMultiprocessor）；n大规模并行处理机（MPP，MassivelyParallelProcessor）；n机群（Cluster）；n分布式共享存储多处理机（DSM，DistributiedSharednMemory）2023/9/6星期三并行计算基础知识4/66

Top500中的超级计算机w地球模拟器wASCIQwASCIWhite2023/9/6星期三并行计算基础知识5/66

EarthSimulatorEarthsimulatorcenterNecRmax:35.86Tflops8*8*6402023/9/6星期三并行计算基础知识6/66

EarthSimulator2023/9/6星期三并行计算基础知识7/66

EarthSimulator2023/9/6星期三并行计算基础知识8/66

ASCIQ1024nodes8cpu/node10240Gflops7727Gflops2023/9/6星期三并行计算基础知识9/66

ASCIwhiteLLNLIBMSPpower3Rmax7.22Tflops2023/9/6星期三并行计算基础知识10/66

SMP对称多处理机wSMP系统一般使用商品化微处理器，具有片上或外置高速缓存w经由高速总线（或交叉开关）连向共享存储器。每个处理器可等同地访问共享存储器、I/O设备和操作系统服务。w单一操作系统映像，全系统只有一个操作系统驻留在共享存储器中，它根据各个处理器的负载情况，动态地分配各个进程到各个处理器，并保持负载平衡；w低通信延迟，各个进程通过读/写操作系统提供的共享数据缓存区来完成处理器间的通信，其延迟通常小于网络通信延迟；w共享总线带宽，所有处理器共享总线带宽，完成对内存模块和I/O模块的访问。2023/9/6星期三并行计算基础知识11/66

SMP对称多处理机（续）w问题：欠可靠，总线、存储器、操作系统失效可能导致系统崩溃；w可扩展性较差，由于所有处理器都共享总线带宽，而总线带宽每3年才增加2倍，赶不上处理器速度和存储容量的增长步伐，因此SMP的处理器个数一般少于64个，且只能提供每秒数百亿次的浮点运算。wSMP的典型代表有：SGIPOWERChallengeXL系列、DEAlphaserver84005/440、HP9000/T600和IBMRS6000/R40。2023/9/6星期三并行计算基础知识12/66

SMP对称多处理机（续）P/CP/CP/CSM总线或交叉开关SMSM2023/9/6星期三并行计算基础知识13/66

DSM分布式共享存储多处理机wDSM的典型代表为SGI的Origin2000和Origin3000系列并行机w处理器对物理分布的共享存储器的访问是不对称的，因此远端访问延迟一般是本地访问延迟的3倍以上w单一内存地址空间，所有这些内存模块都由硬件进行了统一编址，并通过互连网络形成了并行机的共享存储器2023/9/6星期三并行计算基础知识14/66

DSM（续）w基于Cache的数据一致性wDSM较好地改善了SMP的可扩展性能。一般地，DSM可以扩展到上百个节点，能提供每秒数千亿次的浮点运算功能w单一的系统映像，在DSM中，用户只看到一个操作系统，它可以根据各节点的负载情况，动态地分配进程2023/9/6星期三并行计算基础知识15/66

DSM（续）MBMBP/CLMDIRNICP/CLMDIRNI