大数据技术原理与应用第八 讲基于Hadoop的数据仓库Hive.ppt

14.6.2 Hive的数据类型 表 Hive的集合数据类型 类型 描述 示例 ARRAY 一组有序字段，字段的类型必须相同 Array(1,2) MAP 一组无序的键/值对，键的类型必须是原子的，值可以是任何数据类型，同一个映射的键和值的类型必须相同 Map(‘a’,1,’b’,2) STRUCT 一组命名的字段，字段类型可以不同 Struct(‘a’,1,1,0) 14.6.3 Hive基本操作 1. create: 创建数据库、表、视图 创建数据库 创建数据库hive hive create database hive; 创建数据库hive。因为hive已经存在，所以会抛出异常，加上if not exists关键字，则不会抛出异常 hive create database if not exists hive; 14.6.3 Hive基本操作 创建表 在hive数据库中，创建表usr，含三个属性id，name，age hive use hive; hivecreate table if not exists usr(id bigint,name string,age int); 在hive数据库中，创建表usr，含三个属性id，name，age，存储路径为“/usr/local/hive/warehouse/hive/usr” hivecreate table if not exists hive.usr(id bigint,name string,age int) location ‘/usr/local/hive/warehouse/hive/usr’; 14.6.3 Hive基本操作 创建视图 创建视图little_usr，只包含usr表中id，age属性 hivecreate view little_usr as select id,age from usr; 14.6.3 Hive基本操作 2. show：查看数据库、表、视图 查看数据库 查看Hive中包含的所有数据库 hive show databases; 查看Hive中以h开头的所有数据库 hiveshow databases like ‘h.*’; 查看表和视图 查看数据库hive中所有表和视图 hive use hive; hive show tables; 查看数据库hive中以u开头的所有表和视图 hive show tables in hive like ‘u.*’; 14.6.3 Hive基本操作 3. load：向表中装载数据 把目录’/usr/local/data’下的数据文件中的数据装载进usr表并覆盖原有数据 hive load data local inpath ‘/usr/local/data’ overwrite into table usr; 把目录’/usr/local/data’下的数据文件中的数据装载进usr表不覆盖原有数据 hive load data local inpath ‘/usr/local/data’ into table usr; 把分布式文件系统目录’hdfs://master_server/usr/local/data’下的数据文件数据装载进usr表并覆盖原有数据 hive load data inpath ‘hdfs://master_server/usr/local/data’ overwrite into table usr; 14.6.3 Hive基本操作 4. insert：向表中插入数据或从表中导出数据 向表usr1中插入来自usr表的数据并覆盖原有数据 hive insert overwrite table usr1 select * from usr where age=10; 向表usr1中插入来自usr表的数据并追加在原有数据后 hive insert into table usr1 select * from usr where age=10; 14.6.4 Hive应用实例：WordCount 词频统计任务要求： 首先，需要创建一个需要分析的输入数据文件 然后，编写HiveQL语句实现WordCount算法 具体步骤如下： （1）创建input目录，其中input为输入目录。命令如下： $ cd /usr/local/hadoop $ mkdir input （