Flume日志系统

【Flume简介】

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

【Flume特征】

1.  Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中

2.  使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中

3.  除了日志信息，Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据，比如facebook,twitter,电商网站如亚马逊，flipkart等

4.  支持各种接入资源数据的类型以及接出数据类型

5.  支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等

6. 可以被水平扩展

【系统学习并掌握Flume】

尚硅谷Flume教程

https://www.bilibili.com/video/BV184411B7kU

课程详情：

在本课程中，你将学习到，Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。