HADOOP 二次开发代码说明.docx

  1. 1、本文档共13页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
HADOOP 二次开发代码说明

HADOOP 二次开发代码说明 Eclipse 建立maven工程: MaoReduce读写HDFS的Demo 数据准备: 准备两个测试文件 1.txt 2.txt 内容格式:按照空格分割 放入hdfs 的/data/input 目录 命令: hadoop dfs -put 本地目录 hdfs目录 程序编写: 运行命令 : Hadoop jar *.jar /输入路径 /输出路径 输出结果 : 查看命令 hadoop dfs -text /output/* MaoReduce读写HBase的Demo 数据准备: 准备测试文件 内容格式:rowkey:列族:列名:值 例如:r1:cf:c1:value1 放入hdfs 的/data/inputhbase 目录 命令: hadoop dfs -put 本地目录 hdfs目录 程序编写: 运行命令: Hadoop jar *.jar /输入路径 表名 输出结果 : Hbase shell 连接hbase Scan ‘mytable’ 查询表名 HIVE 的使用 连接hive 切换用户su - hdfs 连接 : hive Hive ?命令行常用命令 ? 加载数据到普通表 load data local inpath /home/IVR_CSR_MENU_MAP.txt into table ivr_csr_menu_map; 加载数据带分区的表 load data local inpath /home/lftest/lf1.txt overwrite into table lf_test partition(dt; 加overwrite会覆盖原数据(已有的话)若不加,又有原数据,则会生成一个copy文件 load data local inpath? /home/lftest/lf1.txt overwrite into table lf_test partition(dt; ? Hive 命令行里面可以使用dfs来执行一些hadoop命令 查看目录 dfs -ls /apps/hive/warehouse/lf_test; 查看文件内容 hive dfs -text /apps/hive/warehouse/lf_test/dtlf.txt; ? 删除文件 dfs -rm /apps/hive/warehouse/lf_test/dtlf1_copy_2.txt; 删除目录 dfs -rm -r? /apps/hive/warehouse/lf_test; ? 显示表分区 show partitions lf_test; 添加分区 alter table lf_test add partition(dt; 删除分区 alter table lf_test drop partition(dt; 显示详细的表结构:(包括字段、分区等信息) desc? formatted? ivr_calldata; 显示建表语句 show create table sas_ambs; 删除表 drop table lf_test; 重命名表 ALTER TABLE employee RENAME TO emp; 创建表(内部表): hive create table lf_test(id int,name string,age int,tel string) ? ? ? partitioned by (dt string) ? ? ? ROW FORMAT DELIMITED ? ? ? FIELDS TERMINATED BY | ? ? ? STORED AS TEXTFILE; 外部表 create EXTERNAL table IVR_CSR_MENU_MAP( CSR_REASON_ID string, CSR_REASON_NAME string, IVR_NODE_ID string, IVR_NODE_NAME string) ROW FORMAT DELIMITED FIELDS TERMINATED BY | STORED AS TEXTFILE location /spdbccc/data/dest/IVR/IVR_CSR_MENU_MAP/; ??指定数据文件所在路径,此时不会在warehouse下生成文件夹

文档评论(0)

shuwkb + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档