本文共 1196 字，大约阅读时间需要 3 分钟。

Flume 数据收集流程配置示例

1. Flume 组件配置

1.1 配置文件名称

a1.conf

1.2 源配置（spoolDir 源）

a1.sources.r1.type = spooldira1.sources.r1.spoolDir = /opt/apps/collect-app/logs/data/

1.3 通道配置（内存通道）

a1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100

1.4 触点配置（HDFS 存储）

a1.sinks.k1.type = hdfsa1.sinks.k1.hdfs.path = hdfs://mypc01:8020/mynews/%Y%m%d/%H%Ma1.sinks.k1.hdfs.filePrefix = newsa1.sinks.k1.hdfs.rollSize = 102400a1.sinks.k1.hdfs.rollCount = 0a1.sinks.k1.hdfs.rollInterval = 60a1.sinks.k1.hdfs.useLocalTimeStamp = true

1.5 组件关联

a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

2. 启动说明

2.1 启动命令

flume-ng agent -c /usr/local/flume/conf -f /opt/apps/collect-app/scripts/collect-app-access-flume.conf -n a1 -Dflume.root.logger=INFO,console

2.2 平台依赖

• 确保 Flumegres 类加载器已安装
• 确保 Hadoop 集群和相关依赖已正确配置
• 确保 SpoolDir 目录存在且有正确权限

3. 功能说明

• 源配置：使用 SpoolDir 源，监控指定目录下的文件变化，默认每分钟创建一个文件，仅供测试用途
• 通道设置：内存通道适合处理较低延迟和吞吐量的场景，单条文件处理能力为 1000 kB
• 触点配置：将文件内容写入 HDFS 存储系统，文件存储路径为 /mynews/ 下按日期和时间戳分类
• 滚动策略：文件每隔 60 秒滚动一次，默认文件大小为 102400 字节，最小文件大小为 0 字节
• 时间戳设置：启用本地时间戳，文件路径包含时间戳信息 %Y%m%d/%H%M

4. 注意事项

• 建议将 HDFS 服务器地址和端口根据实际环境进行调整
• 调整内存通道容量和交易容量根据实际吞吐量需求进行优化
• 确保目标 HDFS 目录有权限，并且文件नल够写入该目录
• 建议在实际应用中增加错误处理机制和重载机制