拆分记录并将其传递给PublishKafka

Question

我的日志文件保存为20171102-logs.log。

我试图将这些日志传递给Kafka主题，但是它们对于为该主题定义的参数来说太大了。允许的文件大小无法更改，因此我尝试拆分文件。我尝试了几件不同的事情，但我没有运气。文件中包含的日志格式如下：

{"date":"2017-11-02T12:33:55Z", "module":"java", "version":"1.8.0.45", "node":"node-name", "username":"user"}

关于如何拆分这些文件的任何指示/建议都将非常感激。

Answer 1

如果您的日志文件每行包含一条日志消息（由换行符分隔），则可以使用PublishKafka并通过按shift + enter作为值将“Message Demarcator”设置为换行符。

这将让处理器根据分界符读取文件，并为文件中的每条单独日志消息向Kafka发布消息。