Hadoop大数据开发基础与案例实战（微课版）课件 6.10 Hive函数.pptx

Hadoop大数据项目开发——Hive函数

目录content02Hive窗口函数01Hive内置函数

Hive内置函数分类函数描述数值相关函数greatest(Tv1,Tv2,..)返回一组相同类型数据中的最大值（过滤NULL值）least(Tv1,Tv2,...)返回一组相同类型数据中的最小值（过滤NULL值）rand()返回0～1之间的随机值rand(INTseed)返回固定的随机值round(DOUBLEA)返回参数A四舍五入后的BIGINT值

Hive内置函数分类函数描述字符串相关函数upper(STRINGA)ucase(STRINGA)将字符串A中的小写字母转换成大写字母lower(STRINGA)lcase(STRINGA)将字符串A中的大写字母转换成小写字母concat(STRINGA,STRINGB,...)字符串拼接函数，返回A连接B等产生的字符串regexp_replace(STRINGA,STRINGB,STRINGC)字符串替换函数，用字符串C替换字符串A中的Brepeat(STRINGstr,INTn)返回字符串str重复n次的结果trim(STRINGA)ltrim(STRINGA)rtrim(STRINGA)trim(STRINGA)删除字符串两边的空格，但不会删除中间的空格，ltrim(STRINGA)和rtrim(STRINGA)分别删除左边和右边的空格length(STRINGstr)获取字符串str的长度split(STRINGstr,regex)按给定的正则表达式regex分割字符串str，将结果作为字符串数组返回substr（STRINGa,STRINGb）从字符串a中，第b位开始取，取右边所有的字符

Hive内置函数分类函数描述条件函数if(BOOLEANtestCondition,TvalueTrue,TvalueFalseOrNULL)函数会根据条件返回不同的值，如果满足条件，返回第一个参数值，否则返回第二个参数值nvl(Tvalue,Tdefault_value)判断值是否为空，如果T（可以为任意数据类型）为空，则返回默认值时间相关函数unix_timestamp()获取当前系统时间，返回值为数字型秒数to_date(stringtimestamp)将时间戳转换为日期，传入参数也可以是当前时间戳current_timestampdatediff(STRINGenddate,STRINGstartdate)返回INT类型的两个日期相差的天数date_add(STRINGstartdate,INTdays)获取增加天数后的日期last_day(STRINGdate)获取传入日期的月末日期

Hive内置函数分类函数描述聚合函数count(*)和count(expr)返回检索行的总数sum(col)和sum(DISTINCTcol)返回col所有元素的总和avg(col)和avg(DISTINCTcol)返回col所有元素的平均值min(col)返回col所有元素的最小值max(col)返回col所有元素的最大值类型转换函数cast(exprastype)将一个数据类型转换为另一个数据类型膨胀函数explode()将一行数据转换成列数据，可以用于array和map类型的数据，函数中的参数传入的是arrary数据类型的列名。此函数不能关联原有的表中的其他字段、不能与groupby、clusterby、distributeby、sortby联用、不能进行UDTF嵌套和不允许选择其他表达式。

窗口分析函数想要既显示聚集前的数据，又要显示聚集后的数据，引入了窗口函数。窗口函数又叫分析函数，窗口函数兼具分组和排序功能。over()默认的窗口大小是从第一行到最后一行的所有数据。partitionby是按照要求进行分组，这样设定之后，over的窗口大小就是一个分组。当只指定分组时，sum、avg统计的数据就是分组内的数据，当既指定分组又指定排序时，sum、avg统计的数据就是分组第一行到当前行的数据。窗口函数最重要的关键字是partitionby和orderby。

分组TOPN函数创建userinfo表将本地数据user.txt文件加载到userinfo表

分组TOPN函数查询结果

分组TOPN函数最终查询结果

累加计算函数创建index表将本地数据index.txt文件加载到index表

累加计算函数最终查询结果

本章小结本节介绍了Hive函数，包括内置函数和窗口函数，在窗口函数中介绍了分组求TOPN和累加计算，相信大家对Hive函数有了一定的了解，为我们后续数据使用Hive函数打下了坚实