- 1、本文档共20页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
厦门大学计算机科学系研究生课程
《大数据技术原理与应用》
自学教程
Hadoop上的数据仓库Hive
初级实践教程
(版本号:2016年1月13日版本)
主讲教师:林子雨
厦门大学数据库实验室
二零一六年一月
(版权声明:厦门大学数据库实验室原创内容,请勿用于商业用途)
目录
目录
TOC\o1-3\h\z\u一、Hive简介 1
二、Hive安装 1
三、Hive配置 3
四、Hive的常用HiveQL操作 9
五、Hive简单编程实践 16
附录1:任课教师介绍 18
附录2:课程教材介绍 18
厦门大学计算机科学系研究生课程《大数据技术原理与应用》自学教程
Hadoop上的数据仓库Hive初级实践教程
第PAGE1页
《大数据技术原理与应用》
自学教程
Hadoop上的数据仓库Hive初级实践教程
一、Hive简介
Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。
Hive是一个可以提供有效的、合理的且直观的组织和使用数据的模型,即使对于经验丰富的Java开发工程师来说,将这些常见的数据运算对应到底层的MapReduceJavaAPI也是令人敬畏的。Hive可以帮用户做这些工作,用户就可以集中精力关注查询本身了。Hive可以将大多数的查询转换为MapReduce任务。Hive最适合于数据仓库应用程序,使用该应用程序进行相关的静态数据分析,不需要快速响应给出结果,而且数据本身也不会频繁变化。
Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性限制了Hive所能胜任的工作。最大的限制就是Hive不支持记录级别的更新、插入或者删除。用户可以通过查询生成新表或将查询结果导入到文件中去。因为,Hadoop是一个面向批处理的系统,而MapReduce启动任务启动过程需要消耗很长时间,所以Hive延时也比较长。Hive还不支持事务。因此,Hive不支持联机事务处理(OLTP),更接近于一个联机分析技术(OLAP)工具,但是,目前还没有满足“联机”部分。
Hive提供了一系列的工具,可以用来进行数据提取转化加载(ETL),其中,ETL是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。因此,Hive是最适合数据仓库应用程序的,它可以维护海量数据,而且可以对数据进行挖掘,然后形成意见和报告等。
因为大多数的数据仓库应用程序是基于SQL的关系数据库现实的,所以,Hive降低了将这些应用程序移植到Hadoop上的障碍。如果用户懂得SQL,那么学习使用Hive会很容易。因为Hive定义了简单的类SQL查询语言——HiveQL,这里值得一提的是,与SQLServer、Oracle相比,HiveQL和MySQL提供的SQL语言更接近。同样的,相对于其他的Hadoop语言和工具来说,Hive也使得开发者将基于SQL的应用程序移植到Hadoop变得更加容易。
二、Hive安装
因为Hive是构建在Hadoop之上的,所以在安装Hive前,我们需要安装Hadoop环境。Hadoop的安装可以参照厦门大学数据库实验室网站上的安装教程(encoding=UTF-8standalone=no?
?xml-stylesheettype=text/xslhref=configuration.xsl?
configuration
property
namehive.metastore.warehouse.dir/name
value/usr/local/hive/warehouse/value
descriptionlocationofdefaultdatabaseforthewarehouse/description
/property
property
namejavax.jdo.option.ConnectionURL/name
valuejdbc:derby:;databaseName=/usr/local/hive/metastore_db;create=true/value
descriptionJDBCconnectstringforaJDBCmetastore/description
/property
/configuration
伪分布式模式和分布式模式配置Hive,只需根据Hadoop配置文件core-site.
您可能关注的文档
- 厦大大数据技术原理与应用第七章MapReduce.ppt
- 厦大大数据技术原理与应用第三章分布式文件系统HDFS.ppt
- 厦大大数据技术原理与应用第十六章Spark.ppt
- 厦大大数据技术原理与应用第十四章基于Hadoop的数据仓库Hive.ppt
- 厦大大数据技术原理与应用第十五章Hadoop架构再探讨.ppt
- 厦大大数据技术原理与应用第四章分布式数据库HBase.ppt
- 厦大大数据技术原理与应用第五章NoSQL数据库.ppt
- 厦大-大数据技术原理与应用-进阶学习自学教程-Spark快速入门指南-–-Spark的安装与基础使用.doc
- 厦大林子雨编著-大数据技术原理与应用-电子书-第14章-基于Hadoop的数据仓库Hive(2016年4月6日版本).pdf
- 厦大林子雨编著-大数据技术原理与应用-电子书-第16章-Spark(2016年4月20日版本).pdf
文档评论(0)