Hive归档分区表
发布日期:2021-06-22 10:30:52
浏览次数:6
分类:技术文章
本文共 783 字,大约阅读时间需要 2 分钟。
背景
Hive可以把分区表的分区归档成HAR文件,也可以把归档完的分区进行解压。
以下步骤基于Hadoop2.8.5和Hive2.3.5
步骤
1、把hadoopHome/share/hadoop/tools/lib/hadoop-archives-2.8.5.jar放到hiveHome/lib目录下
2、在hiveHome/conf/hive-site.xml中使能分区归档
hive.archive.enabled true
3、对于某个分区表,分区归档命令如下
alter table employees archive partition(country='US');
然后可以在hive中查看压缩结果
dfs -ls /user/hive/warehouse/employees/country=US
结果如下,可以看到在分区目录下生成了data.har文件,就是归档文件
4、对于归档后的分区表,解压的命令如下所示
alter table employees unarchive partition(country='US');
然后可以在hive中查看压缩结果
dfs -ls /user/hive/warehouse/employees/country=US
输出如下
结语
关于所需的jar包,《Hive编程指南》中说的是hadoop-a.b.c-tools.jar,可能我用的hadoop版本比较新,所以我的HadoopHome下没有这个jar包,用网上下载的还会报错。最后,我发现我的HadoopHome下直接有归档相关的jar包hadoop-archives-2.8.5.jar,把它放到hiveHome的lib目录下,重启hive客户端就不会有错了。
转载地址:https://blog.csdn.net/qq_37475168/article/details/104063410 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
路过按个爪印,很不错,赞一个!
[***.219.124.196]2024年04月23日 06时35分30秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
跳跃表(Skip list)原理与java实现
2019-04-28
Java 常见的 30 个误区与细节
2019-04-28
干货|基于 Spring Cloud 的微服务落地
2019-04-28
WEB攻击手段及防御第2篇-SQL注入
2019-04-28
WEB攻击手段及防御第3篇-CSRF
2019-04-28
WEB攻击手段及防御-扩展篇
2019-04-28
spring bean初始化及销毁你必须要掌握的回调方法。
2019-04-28
mysql语句性能开销检测profiling详解
2019-04-28
hashCode到底有什么用?
2019-04-28
设计模式之动态代理模式实战
2019-04-28
设计模式之静态代理模式实战
2019-04-28
作为架构师,你必需要搞清楚的概念:POJO、PO、DTO、DAO、BO、VO
2019-04-28
mysql查询优化explain命令详解
2019-04-28
常用加密算法解析
2019-04-28
设计模式之单例模式实践
2019-04-28
彻底理解正向代理和反向代理
2019-04-28
一次频繁Full GC的排查过程,根源居然是它...
2019-04-28
【爬虫】简单十行代码爬取B站的B站弹幕
2019-04-28
Servlet 体系结构
2019-04-28
Java笔记—语法
2019-04-28