Hive入门及安装

发布日期：2021-05-18 08:19:03 浏览次数：18 分类：精选文章

本文共 1927 字，大约阅读时间需要 6 分钟。

Hive安装与配置指南

概念

Hive 是一个流行的分布式数据处理框架，能够将 Hadoop生态系统中的结构化文件映射到一张数据库表，并允许用户使用类似SQL的方式进行数据操作。与传统的MapReduce编程相比，Hive简化了操作流程，大大提高了开发效率。

Hive架构

Hive的架构设计基于Hadoop生态系统，主要包括以下几个关键组件：

HQL (Hive Query Language)：类似于SQL的查询语言，用户通过编写HQL脚本来定义数据处理逻辑。

Driver：接收并解析HQL查询请求。

编译器：将HQL语句转换为MapReduce任务。

优化器：对生成的任务进行优化，确保其高效执行。

执行引擎：将优化后的任务提交给Yarn，执行MapReduce操作。

结果处理：将执行结果返回用户接口。

Hive的核心任务是将复杂的MapReduce程序隐藏起来，使用户可以像使用数据库一样轻松操作数据。

安装与配置

1. 安装Hive

下载并解压

使用Wget命令下载Hive二进制包并解压：

tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local

安装

将解压后的目录重命名为hive：

mv apache-hive-2.1.1-bin/ hive

环境变量配置

打开/etc/profile文件，添加以下内容：

export HIVE_HOME=/usr/local/hive
export PATH=$HIVE_HOME/bin:$PATH

保存文件后，执行：

source /etc/profile

2. 配置Hive

配置hive-site.xml


    
    
    
     
      hive.metastore.warehouse.dir
     
    
     
      /user/hive/warehouse
     
    
     
      默认仓库的位置
     
    
    
    
    
     
      hive.exec.scratchdir
     
    
     
      /tmp/hive
     
    
     
      HDFS根目录用于Hive作业

启动Hadoop和Yarn

确保Hadoop和Yarn已经运行：

cd /path/to/hadoop/bin
./start-dfs.sh
./start-yarn.sh

启动Hive

运行以下命令启动Hive服务：

hive

配置Hive的元数据库为MySQL

为了增强数据安全性，可以将Hive的元数据库设置为MySQL。以下是配置步骤：

上传MySQL驱动

将mysql-connector-java-5.1.28-bin.jar放置到$HIVE_HOME/lib目录下。

修改hive-site.xml

配置MySQL连接信息：


    
    
    
     
      javax.jdo.option.ConnectionURL
     
    
     
      jdbc:mysql://mypc01:3306/hive?createDatabaseIfNotExist=true
     
    
     
      JDBC连接字符串
     
    
    
    
    
     
      javax.jdo.option.ConnectionDriverName
     
    
     
      com.mysql.jdbc.Driver
     
    
     
      驱动类名称
     
    
    
    
    
     
      javax.jdo.option.ConnectionUserName
     
    
     
      root
     
    
     
      用于元数据库的用户名
     
    
    
    
     
      javax.jdo.option.ConnectionPassword
     
    
     
      123456
     
    
     
      用于元数据库的密码

初始化元数据库

运行以下命令初始化数据库：

bin/schematool -initSchema -dbType mysql

总结

通过以上步骤，可以完成Hive的安装与配置。如果需要进一步优化或扩展，可以参考Hive的官方文档或相关技术博客。

上一篇：java内部类简单解析

下一篇：zookeeper入门及进阶

发表评论

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！