Hive简介.ppt

UDF开发 开发UDF 1、继承org.apache.hadoop.hive.ql.exec.UDF 2、重载evaluate函数 3、 evaluate函数支持重载。 UDAF开发 函数类需要继承UDAF类，内部类Evaluator实UDAFEvaluator接口。 Evaluator需要实现 init、iterate、terminatePartial、merge、terminate 这几个函数； a）init函数实现接口UDAFEvaluator的init函数。 b）iterate接收传入的参数，并进行内部的轮转。其返回类型为boolean。 c）terminatePartial无参数，其为iterate函数轮转结束后，返回轮转数据，terminatePartial类似于hadoop的Combiner。 d）merge接收terminatePartial的返回结果，进行数据merge操作，其返回类型为boolean。 e）terminate返回最终的聚集函数结果。 evaluate函数支持重载。 资源管理系统 Hive简介 陈文文 Agenda Hive架构 Hive DDL Hive DML Hive 查询 Hive 函数 Hive架构 Hadoop MySQL Hive 和 Hadoop 关系 Hadoop结构 NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等； DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。 JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。 TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。 Map/reduce思想 先分割再合并 Hive VS. RDBMS Item Hive RDBMS 查询语言 HQL SQL 数据存储 HDFS Raw Device or FS 索引 无 有 执行 MapReduce Excutor 执行延迟 高 低 处理数据规模 大 小 Hive 数据模型 TABLE:和RDBMS中的 Table 在概念上是类似的，每一个Table 在Hive中都有一个相应的目录存储数据。 Partition :对应于RDBMS中的 Partition 列的密集索引，但是 Hive 中 Partition 的组织方式和数据库中的很不相同。在 Hive 中，表中的一个 Partition 对应于表下的一个目录，所有的 Partition 的数据都存储在对应的目录中. Buckets :对指定列计算 hash，根据 hash 值切分数据，每一个 Bucket 对应一个文件。 External Table: 指向已经在 HDFS 中存在的数据，可以创建 Partition。它和 Table 在元数据的组织上是相同的，而实际数据的存储则有较大的差异。 Table VS. External Table Table 的创建过程和数据加载过程为两个过程（但可在一条语句完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除。 External Table 只有一个过程，加载数据和创建表同时完成实际数据是存储在 LOCATION 后面指定的 HDFS 路径中，并不会移动到数据仓库目录中。当删除一个 External Table 时，仅删除 指向文件的链接。 数据类型 基本类型： TINYINT, SMALLINT, INT, BIGINT, DOUBLE, STRING，FLOAT,BOOLEAN 复杂类型： MapsDATATYPE,DATATYPE, ArraysDATATYPE 类型转换 cast(expr as type) 例如： cast(1 as BIGINT) 将字符串1转化成bigint型 Hive DDL ?建表 ?删除表 ?修改表结构 ?创建／删除视图 ?创建数据库 ?显示命令 HIVE创建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name LIKE existing_table_name( COLUMN , COLUMN ) [LOCATION hdfs_path] ROWFORMAT: DELIMITED [FIELDS TERMINAT