Apache Flume - HDFSSink
发布日期:2021-11-04 22:04:17 浏览次数:4 分类:技术文章

本文共 1946 字,大约阅读时间需要 6 分钟。

        这篇文章是关于Flume HDFSSink的,以Flume-1.3.1版为依据。Flume设计目标是:高效收集聚合大量的日志数据。Fluem是一个可靠的、可用的、分布式日志收集聚合系统。Flume体系结构基于流式数据流设计。其中Flume Sink主要承担将数据传输到下一跳或最终目的的任务。
       
        HDFSSink用来将数据写入Hadoop分布式文件系统(HDFS)中。支持创建text和sequence文件。支持这2种文件类型的压缩。支持文件周期性滚动(就是关闭当前文件在建立一个新的),滚动可以基于时间、数据大小、事件数量。也支持通过event hearder属性timestamp或host分割数据。HDFS目录路径或文件名支持格式化封装,相应的封装串在HDFSSink生成目录或文件时被恰当的替换。使用HDFSSink需要首先安装hadoop,HDFSSink是通过hadoop jar和HDFS集群通信的。注意Hadoop版本需要支持sync().
                 以下是HDFS支持的封装串:
                  
      使用中的文件以".tmp"结尾,一旦文件关闭,这个扩展名将被移除。这样我们就可以排除没有完成的文件。时间相关的封装串都依赖于event的header中的timestamp属性。HDFSSink的属性如下:
 

配置示例:

log-collector.sources=screen

log-collector.sinks=screen

log-collector.channels=screen

 

# Describe the source

 

# Describe the sink

log-collector.sinks.screen.type = hdfs

#日志保存路径,这里按天存放

log-collector.sinks.screen.hdfs.path=hdfs://nn.uusee.com:9000/user/flume/original/screen/%Y/%m/%d

#文件前缀,也可以使用封装串

log-collector.sinks.screen.hdfs.filePrefix=screen-%Y%m%d-%H0000000

#使用LZO压缩算法,注意这里有一个bug,使用LzopCodec时文档没有说明

log-collector.sinks.screen.hdfs.codeC=LzopCodec

log-collector.sinks.screen.hdfs.fileType=CompressedStream

#每10分钟滚动

log-collector.sinks.screen.hdfs.rollInterval=600

#不根据文件大小滚动

log-collector.sinks.screen.hdfs.rollSize=0

#不根据事件条数滚动

log-collector.sinks.screen.hdfs.rollCount=0

log-collector.sinks.screen.hdfs.writeFormat=Text

#批量保存大小,需要和channel的匹配

log-collector.sinks.screen.hdfs.batchSize=1000

log-collector.sinks.screen.hdfs.threadsPoolSize=15

#hadoop集群响应时间较长时需要配置

log-collector.sinks.screen.hdfs.callTimeout=30000

 

 

# Describe the channel

log-collector.channels.screen.type = file

log-collector.channels.screen.checkpointDir = /data0/flume-ng-channel/log/screen/checkpoint

log-collector.channels.screen.dataDirs = /data0/flume-ng-channel/log/screen/data

log-collector.channels.screen.capacity = 2000000

log-collector.channels.screen.transactionCapacity = 1000

 

# Bind the source and sink to the channel

log-collector.sources.screen.channels = screen

log-collector.sinks.screen.channel = screen

转载地址:https://blog.csdn.net/xiaochawan/article/details/9005625 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:Hadoop集群部署配置文档(第1部分)
下一篇:Apache Flume - File通道

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年03月17日 14时51分32秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

linux tcp 113错误,linux系统报tcp_mark_head_lost错误的处理方法 2019-04-21
南昌工程学院c语言答案,南昌工程学院C语言程序设计基础课件第3讲运算符和表达式... 2019-04-21
python学画画_python学画画(下) 2019-04-21
云栖社区 mysql_【直播结束,已更新回放】PG、MySQL到底哪个好?云栖说这次请来五位专家撕了一下-阿里云开发者社区... 2019-04-21
老男孩mysql 百度云_英语语录:除了你,没人能掌控你的幸福 2019-04-21
mysql驱动多次执行问题_Laravel5.2队列驱动expire参数设置带来的重复执行问题 数据库驱动... 2019-04-21
mysql获取刚新增的数据库_如何取得刚插入数据库的数据的id mysql 2019-04-21
python将10到1递减_(Python)如何将3个递减列表合并成一个递减列表? 2019-04-21
python脚本怎么用来处理数据_长时间运行数据处理python脚本的程序结构 2019-04-21
python转成c 语言_将Python对象转换为C void类型 2019-04-21
resin mysql_Eclipse+resin+mysql 安装及环境配置 2019-04-21
redis的使用 Java_java中使用redis 2019-04-21
java 数组元素位置_Java – 在数组中获取元素位置 2019-04-21
c 泛型与java泛型_C ++和Java中的“泛型”类型之间有什么区别? 2019-04-21
java 返回实体对象_java 封装返回结果实体类 返回结果以及错误信息 2019-04-21
java web 防止sql注入攻击_JavaWeb防注入知识点(一) 2019-04-21
java ssm 异常分类_SSM项目常见的异常与处理提示(一) 2019-04-21
java定义矩形类_Java定义矩形类 2019-04-21
java变量怎么变常量_Java的常量与变量是什么?怎么学习呀? 2019-04-21
java开发招聘试题_客户化开发招聘试题-Java开发.doc 2019-04-21