本文共 1312 字，大约阅读时间需要 4 分钟。

安装环境

安装Docker环境

首先，确保Pulum Docker版本为18.06.0及以上

关闭防火墙

systemctl stop firewalld.service systemctl disable firewalld.service

下载Hadoop镜像

docker pull sequenceiq/hadoop-docker:2.7.0

查看镜像列表

docker images

启动Hadoop容器

docker run -it -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 --name hp sequenceiq/hadoop-docker /etc/bootstrap.sh -bash

进入容器并验证

docker exec -it ${CONTAINER_ID} /bin/bash

执行MapReduce任务

cd /usr/local/hadoop-2.6.0/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'`

浏览器访问宿主机IP:50070确认安装成功

配置环境变量

编辑/etc/profile，在末尾添加以下内容：

export HADOOP_HOME="/usr/local/hadoop-2.6.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存并应用配置

source /etc/profile

验证命令行工具

hadoop version

传入jar文件并运行

将hadoop-mapreduce-examples-2.6.0.jar上传到宿主机：

docker cp 本地路径 容器名:/usr/local/hadoop-2.6.0

查看容器中的文件：

docker exec -it 容器名 /bin/bash cd /usr/local/hadoop-2.6.0 ls

上传文件到HDFS

创建输入文件：

vi a.txt

创建文件夹并上传：

hadoop fs -mkdir -p /wordcount/input

运行MapReduce任务：

hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /wordcount/input /wordcount/output

查看输出结果：

hadoop fs -cat /wordcount/output/part-r-00000