通过Apache nifi将JSON日志文件导入Solr

Question

我想读取一个json日志文件并使用apache插入到solr集合中nifi.logfile采用以下格式（一个json对象perline）

{"@timestamp": "2017-02-18T02:16:50.496+04:00","message": "hello"}
{"@timestamp": "2017-02-18T02:16:50.496+04:00","message": "hello"}
{ "@timestamp": "2017-02-18T02:16:50.496+04:00","message": "hello"}

我能够加载文件并使用不同的进程按行分割。我该怎么办？

Answer 1

您可以使用PutSolrContentStream处理器从Apache NiFi向Solr写入内容。如果每个流文件包含一个JSON记录（并且您应确保正确地拆分JSON，即使它涵盖多行，因此检查SplitJSON与SplitText），每个都将写入Solr作为不同的文件。您还可以使用MergeContent批量编写并提高效率。

Bryan Bende在Apache网站上写了一篇关于如何使用这个处理器的good article。