flume-kafka-storm-hdfs-hadoop-hbase
发布日期：2021-05-09 05:38:19
浏览次数：12
分类：博客文章
本文共 431 字，大约阅读时间需要 1 分钟。
# bigdata-demo 项目地址：
hadoop: hadoop hdfs操作 log输出到flume flume输出到hdfs hbase: HTable基本操作：创建，删除，添加表，行，列族，列等。 kafka： 测试 producer | consumer storm：实时处理消息 kafka集成storm集成hdfs 读取kafka数据=》storm实时处理（分割字符，统计字符）=》写入hdfs * kafka消息生成方式： * 1. LogGenerator生成测试日志发送到flume=》 * 2. MyKafkaProducer发送测试消息 * 3. elasticjob定时任务模块生成测试日志 * MyKafkaStormHdfs 实时处理消息： * =》读取kafka数据 * =》storm实时处理（分割字符，统计字符） * =》写入hdfs
发表评论
最新留言
感谢大佬
[***.8.128.20]2025年04月09日 11时20分46秒
关于作者
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！
-- 愿君每日到此一游！
推荐文章
3D渲染集群，你了解多少？
2021-05-09
华为云FusionInsight湖仓一体解决方案的前世今生
2021-05-09
BootStrapTable 错误
2021-05-09
罗马数字
2021-05-09
IO多路复用小故事
2021-05-09
码云 Pages 搭建
2021-05-09
《论可计算数及其在判定上的应用》简单理解
2021-05-09
中国剩余定理证明过程
2021-05-09
java中Object.equals()简单用法
2021-05-09
poj 2187 Beauty Contest(凸包求解多节点的之间的最大距离)
2021-05-09
程序员的开发文档
2021-05-09
mybatis generator修改默认生成的sql模板
2021-05-09
算法 - 如何从股票买卖中，获得最大收益
2021-05-09
算法 - 链表操作思想 && case
2021-05-09
C#之反射、元数据详解
2021-05-09
通俗易懂设计模式解析——单例模式
2021-05-09
通俗易懂设计模式解析——抽象工厂模式
2021-05-09
前端数据渲染及mustache模板引擎的简单实现
2021-05-09
设计模式系列之工厂模式三兄弟(Factory Pattern)
2021-05-09
OAuth2.0认证详解
2021-05-09
白红宇的个人博客 - 记录点点滴滴的事 - 您是第 459960845 位访客