基于Hadoop的微博分布式存储系统的设计及构建论文.doc

基于Hadoop的微博分布式存储系统的设计及构建 摘要 近年来，伴随着大数据时代的到来，互联网所有领域几近乎都有涉足大数据。微博系统也包含其中。目前主流微博系统主要是基于MySQL数据库来实现数据存储。而其自身的并发性、扩展性和数据存储量上都有很大的局限性。 本文旨在 通过 构建和 设计基于Hadoop的 微博分布式 存储系统来解决这几个问题。首先Hadoop框架底层的HDFS分布式文件系统，具有很高的容错性和很高的传输速率，并且易于扩充。其次建立在HDFS之上的Hbase是基于列族的非传统性数据库，可以为用户提供更好的实时读写数据。最后通过对Hbase的设计来减少服务器的压力并实现负载均衡。 关键词:分布式; Hadoop; Hbase  Design and construction of micro-blog distributed storage system based on Hadoop Abstract In recent years, with the advent of the era of big data, the Internet is almost all areas are involved in big data. The system can guarantee micro-blog. The current mainstream blog system is mainly to achieve data storage based on MySQL database. While concurrency, scalability and data storage capacity of its own has great limitations. This paper aims to construct and design of micro-blog distributed storage system based on Hadoop to solve these problems. The first Hadoop frame at the bottom of the HDFS distributed file system, has very high fault tolerance and high transmission rate, and easy to expand. Secondly, based on HDFS Hbase is listed and non traditional database based on real time data can be read and write, to provide users with better. Finally, to reduce the pressure of the server and to achieve load balancing through the design of Hbase. Keywords: Distributed; Hadoop; Hbase 目录 TOC \o 1-2 \h \z \u 引言 1 1概 述 2 1.1背景及现状 2 1.2技术现状 3 1.3开发目的与意义 5 1.4论文组织结构 5 2关键技术 6 2.1 HDFS 分布式文件系统 6 2.2 HBase 分布式数据库 7 2.3 MapReduce 数据处理编程模型 10 2.4 Hadoop 与传统关系型数据库的比较 11 3开发平台和环境搭建 13 3.1开发环境形式 13 3.2所需软件和硬件 13 3.3集群环境搭建 13 3.4环境检测 18 4 Hbase数据库的设计与实现 19 4.1 Zookeeper的安装 19 4.2 Hbase的安装和配置 20 4.3 Hbase的设计 21 5 系统测试 23 5.1 HDFS测试 23 5.2下载测试 24 结论 26 致谢 27 参考文献 28 PAGE PAGE 28 引言 近年来，微博可谓是家喻户晓，妇孺皆知。提起微博不得不提Twitter，其是微博系统的鼻祖，国内的微博大多数是山寨版的Twitter。微博在生活中无处不在，而随着互联网行业的发展和激烈的竞争下，微博不仅要寻求新方法来开拓市场，满足用户需求的多样化和个性化等；又要充分利用网络的现有技术来扩展网站的性能。伴随着大数据时代的到来，网站对数据的要求也不断提高。海量数据的存储的高效性需求在日益增加。传统微博系统多