基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试软件工程专业论文.docxVIP

重庆大学硕士学位论文目录 重庆大学硕士学位论文 目 录 PAGE PAGE IV 目 录 中文摘要I 英文摘要 II 1 绪 论 1 1.1 研究背景 1 1.2 国内外研究现状 2 1.3 研究目的和研究内容 3 1.4 论文组织结构 3 1.5 本文的主要工作 4 2 相关技术分析 5 HYPERLINK \l _TOC_250033 2.1 Hadoop 运行机制 5 HYPERLINK \l _TOC_250032 2.1.1 Hadoop 实体结构 5 2.1.2 基本任务执行流程 5 HYPERLINK \l _TOC_250031 2.1.3 高级 MapReduce 7 HYPERLINK \l _TOC_250030 2.2 HDFS 分布式文件系统 8 HYPERLINK \l _TOC_250029 影响 HDFS 的外在因素 9 HYPERLINK \l _TOC_250028 SecondNameNode 11 HYPERLINK \l _TOC_250027 NameNode 11 HYPERLINK \l _TOC_250026 DataNode 11 HYPERLINK \l _TOC_250025 MapReduce 数据模型 12 HYPERLINK \l _TOC_250024 MapReduce 类型 12 HYPERLINK \l _TOC_250023 MapReduce 类型设定 13 HYPERLINK \l _TOC_250022 MapReduce 主要方法的设定 13 2.3.4 输入输出格式 13 HYPERLINK \l _TOC_250021 Pig 14 HYPERLINK \l _TOC_250020 Pig 运行方式 15 2.4.2 一个实例 15 HYPERLINK \l _TOC_250019 HBASE 16 HYPERLINK \l _TOC_250018 2.6 TBB 与传统线程库区别 17 HYPERLINK \l _TOC_250017 3 基于 Hadoop 的集群平台构建 18 3.1 构建方法及过程 18 HYPERLINK \l _TOC_250016 SSH 配置 18 HYPERLINK \l _TOC_250015 配置 Hadoop 21 3.1.3 分发安装文件到各个结点 25 3.1.4 配置环境变量 28 HYPERLINK \l _TOC_250014 格式化 NameNode 29 HYPERLINK \l _TOC_250013 启动 hdfs 和 MapReduce 29 3.2 故障恢复 30 HYPERLINK \l _TOC_250012 NameNode 故障恢复 30 HYPERLINK \l _TOC_250011 DataNode 故障恢复 31 HYPERLINK \l _TOC_250010 DataNode 退役 31 HYPERLINK \l _TOC_250009 DataNode 结点的添加 33 3.2.5 误删文件恢复 33 HYPERLINK \l _TOC_250008 任务级 MapReduce 研究 34 HYPERLINK \l _TOC_250007 线程级 MapReduce 分析 34 4.1.1 并行与并发的区别和联系 34 HYPERLINK \l _TOC_250006 MapReduce 与并行 35 HYPERLINK \l _TOC_250005 Hadoop Streaming 35 HYPERLINK \l _TOC_250004 4.1.4 C++接口 36 HYPERLINK \l _TOC_250003 任务级 MapReduce 研究 37 HYPERLINK \l _TOC_250002 TBB 与 MapReduce 的契合性 37 HYPERLINK \l _TOC_250001 TBB 适用于 MapReduce 的算法 37 HYPERLINK \l _TOC_250000 MapReduce+TBB 混合编程模型 39 4.2.4 移植性 40 4.2.5 制约因素和处理方法 40 4.3 性能对比实验 41 4.3.1 PI 的算法 41 4.3.2 线程级性能 42 4.3.3 任务级并行的优越性 45 5 任务级 MapReduce 在集群平台下的性能测试 47 5.1 线程级单核集群与任务级单核集群测试分析 47 5.2 线程级多核集群与任