案例：采集一个目录下面的日志信息，并将采集结果保存到HDFS上。
1.定义Agent配置文件
由Flume的体系结构可知，Agent = Source + Chanel + Sink，所以定义Agent的配置信息，就是定义这三个组件的具体实现方式。
创建一个目录myagent用于存放Agent配置文件:
# mkdir /root/trainings/apache-flume-1.8.0-bin/myagent
定义一个Agent的配置文件a1.conf:
# vim /root/trainings/apache-flume-1.8.0-bin/myagent/a1.conf
内容如下:
#定义agent名， source、channel、sink的名称
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#具体定义source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/trainings/logs
#具体定义channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 100
#定义拦截器，为消息添加时间戳
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder
#具体定义sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://192.168.254.112:9000/flume/%Y%m%d
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
a1.sinks.k1.hdfs.rollCount = 0
#HDFS上的文件达到128M时生成一个文件
a1.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
a1.sinks.k1.hdfs.rollInterval = 60
#组装source、channel、sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1</pre>
2.创建上面指定的日志目录
# mkdir /root/trainings/logs
3.启动Hadoop
# start-all.sh
# jps
4870 NameNode
5369 NodeManager
5275 ResourceManager
5134 SecondaryNameNode
5518 Jps
4959 DataNode
4.启动Flume服务
# cd /root/trainings/apache-flume-1.8.0-bin/
# flume-ng agent -n a1 -f myagent/a1.conf -c conf/ -Dflume.root.logger=INFO,console
参数agent 的选项说明：
- -n 指定agent的名字
- -f 指定agent配置文件
- -c 指定flume配置文件的目录
- -Dflume.root.logger=INFO,console 将INFO级别以上的日志显示在控制台
image
如果输出结果有以下三行内容证明Flume启动成功：
……
Comment type: CHANEL, name: c1 started
……
Comment type: SINK, name: k1 started
……
Comment type: SOURCE, name: r1 started
Flume启动成功之后，会一直监听日志目录的变化。一旦日志目录有变化，就会按照配置开始采集日志，并将信息打印在屏幕上。
5.开始采集日志
为了模拟日志产生，可以手动拷贝一些日志文件到/root/trainings/logs目录下。
打开一个新终端，将hadoop的日志文件拷贝到测试目录下：
# ls /root/trainings/hadoop-2.6.1/logs/
hadoop-root-datanode-bigdata112.log
hadoop-root-datanode-bigdata112.out
hadoop-root-datanode-bigdata112.out.1
hadoop-root-datanode-bigdata112.out.2
hadoop-root-datanode-bigdata112.out.3
hadoop-root-namenode-bigdata112.log
hadoop-root-namenode-bigdata112.out
hadoop-root-namenode-bigdata112.out.1
hadoop-root-namenode-bigdata112.out.2
hadoop-root-namenode-bigdata112.out.3
hadoop-root-secondarynamenode-bigdata112.log
hadoop-root-secondarynamenode-bigdata112.out
hadoop-root-secondarynamenode-bigdata112.out.1
SecurityAuth-root.audit
userlogs
yarn-root-nodemanager-bigdata112.log
yarn-root-nodemanager-bigdata112.out
yarn-root-nodemanager-bigdata112.out.1
yarn-root-nodemanager-bigdata112.out.2
yarn-root-nodemanager-bigdata112.out.3
yarn-root-resourcemanager-bigdata112.log
yarn-root-resourcemanager-bigdata112.out
yarn-root-resourcemanager-bigdata112.out.1
yarn-root-resourcemanager-bigdata112.out.2
yarn-root-resourcemanager-bigdata112.out.3
# cp /root/trainings/hadoop-2.6.1/logs/* /root/trainings/logs/
执行上述拷贝命令时，flume就开始采集日志，可以看到旧终端窗口变化，有很多日志信息被打印出来。
采集到的日志会被保存到HDFS上，配置文件中指定的目录/flume下面：
# hdfs dfs -ls /flume
Found 1 items
drwxr-xr-x - root supergroup 0 2018-06-02 22:35 /flume/20180602
说明：在采集的过程中，根据配置文件的设置，如果结果文件的大小没有达到128M并且时间没有超过60S，结果文件的名字中会带有tmp后缀，一旦大小超过128M或者时间超过60S，结果文件的名字就会去掉tmp后缀。
更多使用案例请参考Flume用户手册：《Flume User Guide》。
网友评论