Hive数据仓库应用教程项目7 Hive函数.pptxVIP

项目7Hive函数大连理工大学出版社DALIANUNIVERSITYOFTECHNOLOGYPRESS《Hive数据仓库应用教程》

目录/CONTENTS任务7-1内置函数行业PPT模板/hangye/任务7-2其他常用函数123任务7-3自定义函数

内置函数任务7-1《Hive数据仓库应用教程》

7.1.1任务描述Hive数据库同MySQL、Oracle等传统关系型数据库一样，都含有大量的内置函数,用户可以直接使用,同时也支持用户自定义函数以满足实际应用的特殊需求。函数是Hive数据库中非常重要的一-部分,使用函数可以极大地提高对数据库的管理效率。Hive内部提供了大量丰富的函数供用户使用，这些函数从功能上主要分为算术函数、聚合函数、日期时间函数、条件函数以及字符串函数，这些函数被称为内置函数。通过Hive内置函数对数据进行处理，可以提高程序灵活性、可读性及执行速度。本任务将详细介绍Hive内置函数的使用方法。

7.1.2任务准备知识1.算术函数算术函数主要用来处理数值数据方面的运算，Hive中常用的算术函数主要有绝对值函数、三角函数、对数函数、随机函数等。Hive中常用的算术函数及作用见下表。算术函数返回值类型作用ABS(x)DOUBLE返回x的绝对值ACOS(x)DOUBLE求x的反余弦值(参数是弧度)ASIN(x)DOUBLE求反正弦值(参数是弧度)ATAN(x)DOUBLE求反正切值(参数是弧度)CEIL(x)BIGINT返回大于或等于x的最小整数COS(x)DOUBLE求余弦值(参数是弧度)E()DOUBLE返回自然常数e的值EXP(x)DOUBLE返回自然常数e的x次方FLOOR(x)BIGINT返回小于或等于x的最大整数GREATEST(e1,e2,...)T返回列表中的最大值，若参数中有NULL，则最大值为NULL，参数可是值或列，若为列，则返回列中每行最大值LEAST(e1,e2,...)T返回列表中的最小值，若参数中有NULL，则最小值为NULL，参数可是值或列，若为列，则返回列中每行最小值(x)DOUBLE返回以自然常数e为底x的对数值LOG(base,x)DOUBLE返回以base为底x的对数值LOG2(x)返回以2为底x的对数值LOG10(x)返回以10为底x的对数值NEGATIVE（x）INT/DOUBLE返回x的相反值PI()DOUBLE返回圆周率PI的值POW(x,y)DOUBLE返回x的y次方RAND()DOUBLE返回0到1的随机数RAND(x)通过随机因子x返回0到1的随机值ROUND(x)DOUBLE返回x四舍五入后的值ROUND(x，y)，返回x四舍五入后的值，保留小数位数y位SIGN(x)DOUBLE返回x的符号，若x是负数、0、正数则分别返回-1、0和1SIN(x)DOUBLE求正弦值(参数是弧度)SQRT(x)DOUBLE返回x的平方根TAN(x)DOUBLE求正切值(参数是弧度)

7.1.2任务准备知识2.聚合函数聚合函数主要按照特定条件对一组值进行计算，并返回单个值，以便总结出关于组的结论。因此，聚合函数通常与SELECT语句的GROUPBY子句在一起使用，可以针对某一组数据进行计算。如果某个聚合列的值中有null，则包含该null的行将在聚合时被忽略（除了COUNT函数以外）。Hive中常用的聚合函数及作用见下表。聚合函数返回值类型作用AVG(x)DOUBLEAVG（col）计算指定列的平均值AVG（DISTINCTcol）计算指定列中不重复值的平均值COUNT(x)BIGINTCOUNT(*)统计行的总数COUNT(col)统计指定列中非空值的个数COUNT(DISTINCT)统计指定列非空且不重复值的个数COVAR_POP(col1,col2)DOUBLE返回组内两个数字列的总体协方差COVAR_SAMP(col1,col2)DOUBLE返回组内两个数字列的样本协方差CORR(col1,col2)BIGINT返回组内两个数字列的皮尔逊相关系数COLLECT_SET(col)ARRAY将指定列中的数据组合为数组，去重复数据COLLECT_LIST(col)ARRAY将指定列中的数据组合为数组，不去重复数据MIN(col)DOUBLE计算指定列的最小值MAX(col)DOUBLE计算指定列的最大值SUM(x)DOUBLESUM(col)计算指定列的总和SUM(DISTINCTcol)计算指定列不重复值的总和VAR_POP(col)DOUBLE返回组内某个数字列的方差VAR_SAMP(col)DOUBLE返回组内某个数字列