Graylog完全没有使用纯文本日志文件

时间:2016-09-17 01:41:19

标签: java mongodb elasticsearch graylog

我在使用Graylog时遇到问题,我一直试图摄取包含消息行的普通日志文件;但是,我发现Graylog没有完全消耗日志文件内容;即Graylog仅消耗日志文件中1000行消息中的800个;

我查看了每个组件的日志,发现没有错误消息;

我通过网络控制台检查,一切都很好,绿色条件(Elasticsearch碎片)

以下是我在单节点机器中的设置

机器信息

  • CentOS版本6.7(最终版)
  • CPU核心:3
  • 内存总计:12GB

但是,这台机器上运行的应用程序不止一个,所以我的资源有限,这可能很好,因为我试图设置Graylog用于POC目的;

应用程序工作流程

将有大约60个远程计算机客户端,每个客户端将生成日志文件(大约24MB /文件/小时),此日志文件包含需要由Graylog提取以获取支持服务需求的消息。

至于生产模式,我想到了使用Nifi的自定义收集器,通过ftp将日志文件提取到我们的Graylog服务器。对于POC,我们将使用单机来部署Graylog核心和Web UI,MongoDB和ElasticSearch,我们只需要模拟已经存在于Graylog服务器本地目录中的日志文件;我正在使用NX Log来使用该文件并将GELF作为输出,以便稍后由Graylog核心处理。

日志文件假设由Graylog快速(实时)摄取,但是,正如我之前所述,Graylog似乎停在任务中间,此问题发生在之前,我只是重新启动所有内容并且Graylog恢复了它的任务,不幸的是,我没有检查完整性。

Graylog的配置文件

elasticsearch.yml:http://pastebin.com/eerR9LNb

nxlog.conf:http://pastebin.com/cN20rFnr

server.conf:http://pastebin.com/Nqp44wBH

collector-sidecar.yml:http://pastebin.com/YkbX4Mh9

通过Web控制台设置Graylog的配置

输入

原始/普通GELF UDP 接收缓冲区大小1048576 减压尺寸限制8388608

收藏家边车配置

我在这里添加了NX日志的输入和输出,只有配置相关变量,如URL,端口,输入文件格式(正则表达式)等,我没有触及任何核对表框

装饰

我的合作伙伴使用了带有格式字符串+ $ {ORIG_ADDRESS_ADDRESS}的装饰器和目标字段ORIG_ADDRESS_ADDRESS

提取

同样,我的伙伴使用了一个提取器,当他意识到这个当前的问题时,他删除了提取器,发现这个问题仍然发生

0 个答案:

没有答案