Neo4j插入大文件 - 时间间隔巨大

Question

我在我的数据库中插入一组文件（pdfs，每个2 MB）。 一次插入100个文件需要+ - 15秒，而一次插入250个文件需要80秒。

我不太确定为什么会发生这种巨大的差异，但我认为这是因为这个数量之间的可用内存量是满的。这可能是问题吗？ 如果我能提供更多细节，请告诉我。

Answer 1

不完全确定您身边发生了什么，但它看起来与neo4j性能指南中的here内容完全相同。

可能是：

内存问题

  

如果在写入某些数据后遇到写入性能不佳的问题   （最初很快，然后大幅减速）它可能是操作系统   这是从内存映射区域写出脏页   存储文件。这些区域不需要写出来维护   一致性，以实现最高可能的写入速度类型   应该避免行为。

交易规模

您是否使用多个交易来上传文件？

  

许多小事务导致大量I / O写入光盘和   应该避免。太大的交易可能导致OutOfMemory   错误，因为未提交的事务数据保存在Java上   堆积在记忆中。

如果您使用的是Linux，他们还建议进行一些调整以提高性能。请参阅here。

您可以在页面上查找详细信息。

此外，如果您使用的是Linux，则可以使用以下命令在导入期间自行检查内存使用情况：

$ free -m

我希望这有帮助！