云计算中心建设方案.docx

云计算中心建设方案

2017年5月

云计算中心建设方案

目录

TOC\o1-2\h\z\u第1章、建设方案 3

1.1方案架构图 3

1.2HADOOP数据存储集群方案 4

第2章、方案总配置及预算 18

第3章、LenovoX3650M5服务器简介……………17

-2-

第1章、建设方案

1.1方案架构图

图1：方案逻辑拓扑图

1.2Hadoop数据存储集群方案

方案建议配置

Hadoop是基于新的实现方法，来存储和处理复杂数据，并伴随着数据迁移的减少。相对于依赖SAN来满足大容量存储和可靠性，Hadoop在软件层次处理大数据和可靠性。

Hadoop在一簇平衡的节点间分派数据并使用同步复制来保证数据可用性和容错性。因为数据被分发到有计算能力的节点，数据的处理可以被直接发送到存储有数据的节点。由于Hadoop集群中的每一台节点都存储并处理数据，这些节点都需要配置来满足数据存储和运算的要求。在几乎所有情形下，MapReduce要么会在从硬盘或者网络读取数据时遇到瓶颈（称为IO受限的应用），要么在处理数据时遇到瓶颈（CPU受限）。排序是一个IO受限的例子，它需要很少的CPU处理（仅仅是简单的比较操作），但是需要大量的从硬盘

读写数据。模式分类是一个CPU受限的例子，它对数据进行复杂的处理，用来判定本体。

下面是更多IO受限的工作负载的例子：

索引

分组

数据导入导出

数据移动和转换

下面是更多CPU受限的工作负载的例子：

聚类/分类

复杂文本挖掘

自然语言处理

特征提取

根据大致了解，初步采用负载均衡方式的配置Hadoop集群硬件，

建议Hadoop分布式数据存储集群配置如下：

类型

型号

配置

数量

Hadoop存

储集群

systemX3650M5

2xE5-2630v4,2.2GHZ,10核，8x16GB

DDR4,8x2.5盘位，8x600G10KSAS,M5210

1GBcache支持Raid0,1,5，2*550W白金，

DVD-RW，四口千兆网卡，2个双口万兆网卡含模块，3年服务

8

systemX3650M5

2xE5-2630v4,2.2GHZ,10核，8x16GB

DDR4,12x3.5盘位，2x2.5盘位，12x4T

SATA,2个240GSATAG3HS2.5SSD，M5210

1GBcache支持Raid0,1,5，2*550W白金，

DVD-RW，四口千兆网卡，2个双口万兆网卡含模块，3年服务

12

Hadoop数据存储集群软件

联想LEAP数据分析平台

联想LEAP数据集群平台软件套件，包含

Hadoop2.x，HDFS，MapReduce/YARN，HBase,

Zookeeper，Hive，Impala，HUE，Oozie，Spark，Inceptor计算引擎，SolrSentry，Sqoop，Flume，Kafka，kudu等组件，支持SQL2003引擎，JDBC/ODBC连接，基于角色的数据权限控制组件，原厂支持服务。

4

方案介绍

通过搭建企业级大数据分析与存储平台，实现跨专业、跨层级、跨主体、全过程的数据呈现、敏捷开发与能力嵌入，充分发挥大数据的核心资产能力与价值能力。

平台层面：主要提供数据存储和数据处理能力，提供统一的集成平台环境，将硬件和平台软件做有效的集成。搭建Hadoop和SPARK等计算框架，实现海量数据的分布式处理；通过新技术，降低系统总体拥有成本。

功能层面：主要提供数据整合、数据清洗转换加载、数据共享、数据分析与查询、数据挖掘、数据管理能力；提供新的IT功能架构，提供多租户的ETL、统一的数据计算与存储、数据共享、多租户的应用开发、数据平台管控。

联想大数据平台产品包括：数据采集（Euclid）、数据计算与存储（Descartes）、数据能力开放（Gauss）、大数据分析应用套件（Nash）、数据资产管理（Euler）、系统运维管控（Shannon）等多个产品。

采集（Euclid）功能具备批量、实时、结构化、非结构化等多样化的采集功能。可提供图形化的操作配置，统一的调度和监控，结合其良好的分布式并行处理架构，具备动态的横向扩展能力。批量数据采集作为大数据体系的核心功能组件，既可以基于SMP单机处理,也可以基于低成本的X86分布式平台展开系统设计，支持库外预处理，基于HADOOP组件实现批量数据的并行数据处理。其核心功能紧紧围绕构建大数据系统在数据处理层