
本文共 1558 字,大约阅读时间需要 5 分钟。
目录
博主第一次使用kettle抽取hive中的数据时,遇到了取数结果乱码的问题。
经查阅相关资料,大致有以下几种解决办法:
- hive连接页面设置characterEncoing=utf8。对关系型数据库可能有用,但对hive测试无效;
- 修改hive连接驱动中的jar包。
相关资料:
先看下kettle是如何使用hive的jdbc连接的。
经测试,在lib下、{kettle_home}\data-integration\plugins\pentaho-big-data-plugin\lib下加入hive的jdbc的jar包,会造成连接功能异常。在该目录下存在jar文件hive-jdbc-0.7.0-pentaho-1.0.2.jar,这个类是一个适配类,不真正实现hive的jdbc连接。而是通过反射的方式,找到classpath下的hivejdbc类,即存在于{kettlehome}\plugins\pentaho-big-data-plugin\hadoop-configurations\hadoop-20\lib\hive-jdbc-0.7.0-pentaho-1.0.2.jar这个jar文件,该文件用于真实的调用hive。
网上查资料说,可以先从以下url中获取source文件,http://repo.pentaho.org/artifactory/repo/org/apache/hive/hive-jdbc/0.7.0-pentaho-1.0.2/hive-jdbc-0.7.0-pentaho-1.0.2-sources.jar 下载解压后,导入到你自己的一个新建java工程中,并引入相关的类库,可以使之正常编译。
但实际上并不能找到这个source文件,查遍整个搜索引擎也还是没能找到相关的jar包,因此楼主对jar包进行了反编译-》重编译。
实现步骤:
工具:反编译工具jd-gui、java IDE工具Eclipse
我的实现步骤如下:
- 找到hive-jdbc-0.7.0-pentaho-1.0.2.jar这个jar包,把class文件解压在目录中;
- 使用jd-gui反编译class文件为java源码文件,保存;
- 新建java工程,把java源码文件导入工程;
- 从hive-jdbc-0.7.0-pentaho-1.0.2.jar这个文件名可猜测,驱动是针对hive0.7.0进行修改的,引入hive、hadoop0.20的相关jar包,jdk使用1.5来编译;
- 修改报错的代码——反编译的代码不一定是正确的,会有一定的语法错误;
- 修改HiveQueryResultSet.java为以下代码:
StructObjectInspector soi = (StructObjectInspector) serde.getObjectInspector();List fieldRefs = soi.getAllStructFieldRefs();//Object data = serde.deserialize(new BytesWritable(rowStr.getBytes()));//我们将该行屏蔽Object data = serde.deserialize(new BytesWritable(rowStr.getBytes("UTF-8")));//使用本行
- 替换原来包中的HiveQueryResultSet.class文件,对所有的class文件按原结构进行打为jar包;
- 替换原先的路径中的jar包就可以了。
资源下载:
楼主改好的jar包资源在这里:
http://download.csdn.net/detail/l714417743/9369816
发表评论
最新留言
关于作者
