Question

我正在使用带有syslogudp源码的apache-flume。我在flume.conf中设置了以下内容：

agent.sources.r1.type = syslogudp
agent.sources.r1.port = 5140
agent.sources.r1.host = localhost
agent.sources.r1.channels = c1

关注nginx.conf选项：

access_log syslog:server=localhost,tag= ;

结果所有我在sink中的日志（kafka主题）在开头都有2个符号。例如：

: 31.130.95.75  1472493421.911  80674   {flags}

有没有办法切断第一个冒号和空格符号？

感谢

Answer 1

您可能需要查看搜索和替换拦截器（https://flume.apache.org/FlumeUserGuide.html#search-and-replace-interceptor）

您可以使用拦截器使用正则表达式编辑事件主体。

在您的情况下，修改后的配置如下所示：

agent.sources.r1.type = syslogudp
agent.sources.r1.port = 5140
agent.sources.r1.host = localhost
agent.sources.r1.channels = c1


agent.sources.r1.interceptors = search-replace
agent.sources.r1.interceptors.search-replace.type = search_replace

agent.sources.r1.interceptors.search-replace.searchPattern = ^.*:
agent.sources.r1.interceptors.search-replace.replaceString =

Answer 2

就我而言 nginx：刚开始！

nginx：2016-08-27T18：21：59 + 08:00＆＃34; 14.88.133.152＆＃34; 14.88.133.152＆＃34; GET＆＃34; api.xxx.com＆＃34; / mobile / member / user / bind / push＆＃34; HTTP / 1.1＆＃34; - ＆＃34; Dalvik / 2.1.0（Linux; U; Android 5.0.2; HTC 802t Build / LRX22G）＆＃34; 1141＆＃34 ; 200＆＃34; 370＆＃34; 31＆＃34; 127.0.0.1：9000＆＃34; 0.00＆＃34; - ＆＃34; - ＆＃34; 0.082＆＃34; 0.080＆＃34; - ＆＃34 ; G7 / rxU9nj ++ 0 / E6pn7 / m0EOZ7WEiWtJOHFePbHgVG8mILk0J2IDVdjQ1R4dr75h2etJxxv6VJ + z5Nk / Kh5Us / bt8NgyhF7STUT3mxFaaO7LmI2DeP / 7YKRwdPcy0SOw0yRo0GrMOBRG0KWbbJbnDn4mURXpx4dkDbbSOt6q4LIbKY4qC + nslbsPM9iZknSEhtnlK1NhvbeH28DgVjz7yGOKYEVZ2wlP9mikwUtqUgl＆＃34;应用程序是α-angejia; AV = 4.0.1; CCID = 1; GCID =; CH = B48; LNG =; lat =; net = WIFI; p = android; pm = Android-HTC 802t; osv = 5.0.2; dvid = 35586705393334084：7a：88：7f：0b：18＆＃34; - ＆＃34; 4000＆＃34; 2000＆＃34; 10＆＃34; 28280

水槽。从syslogudp源

2 个答案: