云计算的关键技术与实际应用实例.doc

第一篇从并行计算到云计算 第1章并行计算与云计算................ 2 1.1 并行计算到云计算的演变...................... 2 1.2 云计算需要定义吗？....... 4 1.3 云计算是否是新瓶装旧酒...................... 5 1.4 MPI与Hadoop，不同学科 学者的选择...... 6 1.5 云计算与浏览器..................... 8 第2章MPI并行计算环境的建立..................... 10 2.1 配置前的准备工作.......... 10 2.2 挂载NFS文件系统......... 11 2.3 配置ssh实现MPI节点间 用户的无密码访问.......... 12 2.4 安装MPICH2......................... 12 2.5 建立并行计算环境时的 注意事项......... 14 第3章并行计算时代的程序设计方法....... 15 3.1 最简单的并行程序.......... 15 3.2 获取进程标志和机器名......................... 18 3.3 有消息传递功能的并行程序........... 20 3.4 Monte Carlo法在并行程序设计 中的应用......... 23 3.5 并行计算中节点间的 Reduce操作. 25 3.6 用MPI的6个基本函数实现 Reduce函数功能................ 28 3.7 计算与通信的并行.......... 30 3.8 节点间自定义复杂数据 结构的传输.. 34 3.9 MPI与MySQL数据库的 结合应用......... 37 3.10 设计MPI并行程序时的 注意事项..... 41 第4章从MPI走向云计算........... 43 4.1 MPI没有分布式文件系统支持.... 43 4.2 MPI无法应对节点的失效.................. 44 4.3 假如用MPI来构建云计算系统... 44 第二篇云计算的关键技术 第5章Map/Reduce是云计算的选择吗..... 48 5.1 Map/Reduce跨越50年的 历史....................... 48 5.2 实现Map/Reduce的C语言实例. 49 5.3 采用MPI实现并行化的 Map/Reduce功能................ 51 第6章Hadoop技术.. 58 6.1 Hadoop与MPI在数据处理上的 对比....................... 58 6.2 Hadoop的主从式结构. 59 6.2.1 主从式文件系统HDFS....... 59 6.2.2 主从式计算系统 Map/Reduce.......... 60 6.2.3 文件分块策略分析.................... 61 6.3 Hadoop文件系统HDFS的 前辈GFS......... 64 6.4 构建云文件系统需要解决的 关键问题......... 66 6.5 云计算不相信节点服务器.................. 67 6.6 揭密云计算架构下的典型 服务器——Google服务器................. 68 6.6.1 Google服务器概述................... 68 6.6.2 揭开Google服务器的 神秘面纱................ 69 6.6.3 Google服务器的配置 情况. 69 6.6.4 Google服务器的性能 评测. 73 第7章Hadoop环境的建立.......... 75 7.1 Hadoop配置环境............... 75 7.2 配置ssh实现Hadoop结点间 用户的无密码访问.......... 76 7.3 JDK的安装配置................. 76 7.4 Hadoop的安装配置........ 77 7.5 Hadoop中的Hello World..................... 81 7.6 C语言程序在Hadoop 上运行................ 82 第8章动手做自己的云计算 V0.01系统..... 86 8.1 系统总体分析........................ 86 8.1.1 系统架构................... 86 8.1.2 文件分布式存储流程............. 88 8.1.3 计算与存储的整合流程...... 88 8.2 管理节点程序设计与分析.................. 89 8.