Hive归档分区表
发布日期:2021-06-22 10:30:52 浏览次数:6 分类:技术文章

本文共 783 字,大约阅读时间需要 2 分钟。

背景

Hive可以把分区表的分区归档成HAR文件,也可以把归档完的分区进行解压。

以下步骤基于Hadoop2.8.5和Hive2.3.5

步骤

1、把hadoopHome/share/hadoop/tools/lib/hadoop-archives-2.8.5.jar放到hiveHome/lib目录下

2、在hiveHome/conf/hive-site.xml中使能分区归档

hive.archive.enabled
true

3、对于某个分区表,分区归档命令如下

alter table employees archive partition(country='US');

然后可以在hive中查看压缩结果

dfs -ls  /user/hive/warehouse/employees/country=US

结果如下,可以看到在分区目录下生成了data.har文件,就是归档文件

 4、对于归档后的分区表,解压的命令如下所示

alter table employees unarchive partition(country='US');

然后可以在hive中查看压缩结果

dfs -ls  /user/hive/warehouse/employees/country=US

输出如下

结语

关于所需的jar包,《Hive编程指南》中说的是hadoop-a.b.c-tools.jar,可能我用的hadoop版本比较新,所以我的HadoopHome下没有这个jar包,用网上下载的还会报错。最后,我发现我的HadoopHome下直接有归档相关的jar包hadoop-archives-2.8.5.jar,把它放到hiveHome的lib目录下,重启hive客户端就不会有错了。

转载地址:https://blog.csdn.net/qq_37475168/article/details/104063410 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:启动HBase报错Could not start ZK at requested port of 2181. ZK was started at port: 2182.
下一篇:解决idea中pom依赖下载不了源码

发表评论

最新留言

路过按个爪印,很不错,赞一个!
[***.219.124.196]2024年04月23日 06时35分30秒