用于收集系统日志数据的水槽

时间:2015-02-02 10:40:52

标签: hadoop bigdata router syslog flume

我正在尝试从10个设备(路由器)收集syslog。我开始知道我可以使用syslog源,但需要澄清属性中的主机和端口。它们是否是运行水槽剂的机器上的本地端口。另外,如何将syslogs重定向到flume正在监听的端口。

1 个答案:

答案 0 :(得分:0)

经典Syslog源基本上设计为连接到一个syslog主机,即您必须为10个syslog服务器设置10个源。所有这些源都可以在一个代理中运行,并使用一个通道将其事件假脱机到一个接收器 - 但是,如果数据量很大,则此设置很快就会遇到性能问题。您必须配置路由器以连接到该syslog主机/端口配置。

更大的设置是为每个syslog服务器安装一个代理,并使用Avro sink / Avro Source将事件假定为一个或两个代理,然后再将事件排序并将其写入您想要的位置。

您还可以使用较新的Multiport Syslog TCP Source来生成多个端口。这允许更多路由器连接到一个syslog源:

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = multiport_syslogtcp
a1.sources.r1.channels = c1
a1.sources.r1.host = 0.0.0.0
a1.sources.r1.ports = 10001 10002 10003
a1.sources.r1.portHeader = port

在此配置中,syslog在您的代理上提供端口10001,10002和10003。您可以将路由器配置为连接到代理的IP以及这三个端口之一。