
hadoop自带示例wordcount
通过命令导航至Hadoop安装目录: 启动Hadoop集群:
发布日期:2021-05-20 12:02:09
浏览次数:22
分类:精选文章
本文共 1009 字,大约阅读时间需要 3 分钟。
Hadoop入门与实践示例
在本文中,我们将从最基础的Hadoop启动开始,深入了解HDFS文件系统的操作及实际案例分析。
1.1 HDFS的重要性
HDFS(Hadoop Distributed File System)是Hadoop生态系统的核心组件,作为一个分布式文件系统,它类似于传统操作系统中的NTFS,支持海量数据的高效存储与处理。作为HDFS操作的基础,熟悉其特性对于后续学习和实践至关重要。
1.2 Hadoop环境的启动
安装完成Hadoop后,启动节点可以通过以下步骤进行:
$cd /home/hadoop/hadoop/
(根据实际安装路径进行调整)- 启动DFS:
$./start-dfs.sh
- 启动Yarn:
$./start-yarn.sh
启动完成后,可以通过浏览器访问master节点的8088或50070端口,查看Hadoop集群的运行状态。
1.3 创 建 HDFS 目录
在HDFS中创建输入目录,可以使用以下命令:
$./hadoop fs -mkdir /input
创建成功后,可以通过以下命令查看目录结构:
$./hadoop fs -ls /
此时已成功在HDFS根目录下创建/input
目录。
1.4 文件上传与统计
将LICENSE.txt
文件上传至HDFS:
$./hadoop fs -put LICENSE.txt /input
上传后,可以通过以下命令查看文件是否已成功上传:
$./hadoop fs -ls /input
接下来,运行Hadoop的wordcount命令进行word计数统计:
$./hadoop jar /home/hadoop/hadoop/share/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
统计完成后,可以通过以下命令查看输出结果:
$./hadoop fs -ls /output
并用以下命令查看具体统计结果:
$./hadoop fs -cat /output/part-r-00000
2 总结
通过本实例,我们学会了使用HDFS进行文件存储与操作,并掌握了Hadoop-wordcount的基本使用方法。这种基于分布式文件系统的操作方式为海量数据处理奠定了基础。
发表评论
最新留言
路过,博主的博客真漂亮。。
[***.116.15.85]2025年04月29日 04时10分05秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
什么是redis的缓存雪崩, 穿透, 击穿?
2019-03-16
【转载】DSP基础--定点小数运算
2019-03-16
idea thymeleaf页面变量报错解决
2019-03-16
云游戏,打响5G第一战
2019-03-16
Docker 拉取镜像速度太慢
2019-03-16
【毕设-STM32f103寄存器版本】智能防盗系统
2019-03-16
勒索病毒Kraken2.0.7分析
2019-03-16
MySQL错误1366处理方法
2019-03-16
VxWorks 操作系统学习笔记
2019-03-16
驱动程序之_1_字符设备_13_USB设备_1_基本概念
2019-03-16
微机原理 6-计算机中常用的数制
2019-03-16
window系统下安装使用curl命令工具
2019-03-16
假如计算机是中国人发明的,那代码应该这么写
2019-03-16
神器 Codelf !
2019-03-16
趣图:会算法和不会算法的区别
2019-03-16
区块链会2020再次爆发,先学点DAPP压压惊,跟我一起学《区块链DApp入门实战》
2019-03-16
问题解决28:微信网页授权出现redicet_uri 参数错误
2019-03-16
LeakCanary 中文使用说明
2019-03-16
反转链表,(5)
2019-03-16