以JSON Lines格式处理和查询大量大文件

Question

哪种技术最适合导入大量的大型JSON线格式文件（每个文件大约2 GB）。

我正在考虑索尔。

导入数据后，必须具有查询功能。

您建议哪种技术可以导入，然后及时查询JSON行格式数据？

Answer 1

您可以使用您喜欢的某种脚本语言开始原型设计，阅读线条，按需格式获取有效的Solr json并通过HTTP将其发送给Solr。是否会更快开始。

从长远来看，SolrJ将允许您获得最大性能（如果需要），您可以：

1. 直接在Solrcloud环境中点击领导副本
2. 使用多个线程来摄取和发送文档（您也可以使用多个进程）。并非所有其他技术都难以实现这一点，但有些技术却是如此。
3. 您可以充分灵活地使用所有SolrJ api