监控管理老师笔记impala使用.pptx

Impala

01ImpalaShellImpala监控管理Impala存储分区ImpalaSQL020304

01ImpalaShell

ImpalaShell01-h（--help）帮助-v（--version）查询版本信息-V（--verbose）启用详细输出--quiet关闭详细输出-p显示执行计划-i?hostname（--impalad=hostname）指定连接主机 格式hostname：port默认端口21000-r（--refresh_after_connect）刷新所有元数据-q?query（--query=query）从命令行执行查询，不进入impala-shell

ImpalaShell02-d?default_db（--database=default_db）指定数据库-B（--delimited）去格式化输出--output_delimiter=character指定分隔符--print_header打印列名-fquery_file（--query_file=query_file）执行查询文件，以分号分隔-ofilename（--output_file?filename）结果输出到指定文件-c查询执行失败时继续执行-k（--kerberos）使用kerberos安全加密方式运行impala-shell-l启用LDAP认证-u启用LDAP时，指定用户名

ImpalaShell03特殊用法：helpconnecthostname:port连接主机，默认端口21000refreshtablename增量刷新元数据库invalidatemetadata全量刷新元数据库explainsql显示查询执行计划、步骤信息setexplain_level设置显示级别（0,1,2,3）shellshell不退出impala-shell执行Linux命令profile（查询完成后执行）查询最近一次查询的底层信息

02Impala监控管理

Impala监控管理01查看StateStore查看Catalog

03Impala存储分区

Impala存储分区01文件类型格式压缩是否能够直接创建是否直接插入ParquetStructuredSnappy,gzip;currentlySnappybydefault√√CREATETABLE,INSERT,LOADDATA,andqueryTextUnstructuredLZO,gzip,bzip2,Snappy√√1、LZO在hive中创建表、加载数据2、其他压缩格式可通过LoadData、Hive、操作HDFS方式AvroStructuredSnappy,gzip,deflate,bzip2√Impala1.4.0以前通过hive创建表×仅支持查询通过LoadData、在hive加载数据RCFileStructuredSnappy,gzip,deflate,bzip2√×仅支持查询通过LoadData、在hive加载数据SequenceFileStructuredSnappy,gzip,deflate,bzip2√×仅支持查询通过LoadData、在hive加载数据

Impala存储分区02压缩方式Snappy推荐使用的压缩算法，该算法在压缩比和解压速度上实现了很好的平衡。GZIP期望达到最大压缩比(最少硬盘空间)时推荐，主要以节省硬盘空间为目的。Deflate不支持文本文件BZIP2不支持文本文件LZO仅支持文本文件。Impala可以直接查询LZO压缩文本文件表，但目前无法创建该类型压缩表和向该类型压缩表插入数据，需要在?Hive中执行这些操作。

Impala存储分区03添加分区方式1、partitionedby创建表时，添加该字段指定分区列表2、使用altertable进行分区的添加和删除操作createtablet_person(idint,namestring,ageint)partitionedby(typestring);altertablet_personaddpartition(sex=‘man);altertablet_persondroppartition(sex=‘man);altertablet_persondroppartition(sex=‘man‘,type=‘boss’);分区内添加数据insertintot_personpartition(type=boss)values(1,’zhangsan’,18),(2,