使用importTsv方式导数据从Hdfs到HBase
发布日期:2021-05-14 21:30:49 浏览次数:21 分类:精选文章

本文共 619 字,大约阅读时间需要 2 分钟。

进入HBase Shell后,执行以下命令创建表:

create 'importTsvHbase', 'col1', 'col2'

进入HBase的bin目录,执行导入命令:

./hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \
-Dimporttsv.bulk.output=hbaseTsv \
-Dimporttsv.columns=HBASE_ROW_KEY,col1:name,col2:exp \
importTsvHbase /user/hbase/hbase.tsv

查看一些建议参数:

  • -Dimporttsv.skip.bad.lines=false控制错误行的处理
  • -Dimporttsv.separator=|指定文件的分隔符
  • -Dimporttsv.timestamp=currentTimeAsLong设置时间戳
  • -Dimporttsv.mapper.class自定义映射器

修改文件权限:

hdfs dfs -chown -R hbase:hbase /user/currentusername/hbaseTsv

关联文件和表:

./hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hbaseTsv importTsvHbase

使用HBase Shell查询表数据。

上一篇:mangodb不太权威指南
下一篇:IDEA让代码飞起来,IDEA快捷键

发表评论

最新留言

做的很好,不错不错
[***.243.131.199]2025年04月26日 11时52分41秒