我已经加载了一个包含2870万条记录的索引,但只加载了1840万条。 logstash(用于加载数据)或Elasticsearch中未报告任何错误。我试图再次加载相同的文件,但它只设法加载4.5K记录。再次没有发现任何错误。
我删除了所有创建的三个索引并尝试再次加载文件,但这一次,它没有加载任何文件!因此可以安全地假设我达到了Elasticsearch的物理限制,但我无法找到这个限制的位置和内容。
我的服务器是双核Xeon备份的8GB内存。我有140GB的磁盘空间。自安装以来,尚未触及elasticsearch配置文件。
非常感谢任何建议。
答案 0 :(得分:0)
这几乎可以肯定是堆耗尽的情况。我认为默认的堆大小是1 GB,我不希望它甚至足够用于30 M文档。请参阅recent logstash-users thread讨论一个看似相同的问题,详细说明Elasticsearch如何使用其堆。
对于8 GB系统,4 GB是一个很好的堆大小。您可以调整JVM堆大小,例如/ etc / default / elasticsearch(基于Debian的系统)或/ etc / sysconfig / elasticsearch(基于RPM的系统)。