Question

我需要通过REST API的Batch端点将大量节点与它们之间的关系插入Neo4j，大约5k记录/秒（仍在增加）。

这将是24x7的连续插入。每条记录可能只需要创建一个节点，但其他记录可能需要创建一个节点和一个关系。

我可以通过更改程序或修改Neo4j的设置来提高插入的性能吗？

到目前为止我的进展：

1。我已经用Neo4j测试了一段时间，但我无法获得所需的性能

测试服务器盒：24核+ 32GB RAM

Neo4j 2.0.0-M06作为独立服务安装。

在同一台服务器上运行我的Java应用程序。（Neo4j和Java应用程序将来需要在自己的服务器上运行，因此无法使用嵌入式模式）

REST API端点：/ db / data / batch（target：/ cypher）

使用架构索引，约束，MERGE，CREATE UNIQUE。

2。我的架构：

neo4j-sh (0)$ schema
==> Indexes
==>   ON :REPLY(created_at)   ONLINE                             
==>   ON :REPLY(ids)          ONLINE (for uniqueness constraint) 
==>   ON :REPOST(created_at) ONLINE                             
==>   ON :REPOST(ids)        ONLINE (for uniqueness constraint) 
==>   ON :Post(userId)      ONLINE                             
==>   ON :Post(postId)    ONLINE (for uniqueness constraint) 
==> 
==> Constraints
==>   ON (post:Post) ASSERT post.postId IS UNIQUE
==>   ON (repost:REPOST) ASSERT repost.ids IS UNIQUE
==>   ON (reply:REPLY) ASSERT reply.ids IS UNIQUE

第3。我的密码查询和JSON请求

3.1。当一条记录需要创建单个节点时，作业说明如下所示

{"method" : "POST","to" : "/cypher","body" : {"query" : "MERGE (child:Post {postId:1001, userId:901})"}}

3.2。当一条记录需要创建一个关系的两个节点时，作业说明如下所示

{"method" : "POST","to" : "/cypher","body" : {"query" : "MERGE (parent:Post {postId:1002, userId:902}) MERGE (child:Post {postId:1003, userId:903}) CREATE UNIQUE parent-[relationship:REPOST {ids:'1002_1003', created_at:'Wed Nov 06 14:06:56 AST 2013' }]->child"}}

3.3。我通常每批发送100份职位描述（3.1和3.2混合），大约需要150~250ms才能完成。

4。性能问题

4.1。并发：

/ db / data / batch（target：/ cypher）似乎不是线程安全的，使用两个或更多并发线程进行测试，这使得Neo4j服务器在第二（s）分钟内停止运行。

4.2。带有约束的MERGE并不总是有效。

当使用单个查询创建两个节点和一个关系时（在3.2。中提到），它有时像魅力一样;但它有时会因CypherExecutionException失败并说其中一个Node xxxx已经存在，标签为aaaa，属性为“bbbbb”= [ccccc];根据我的理解，MERGE不会假设返回任何异常，但如果节点已经存在则返回该节点。

作为例外的结果，整个批次将失败并回滚，这会影响我的插入率。

我已在GitHub中针对此问题https://github.com/neo4j/neo4j/issues/1428

打开了一个问题

4.3。使用约束创建UNIQUE并不总能用于创建关系。

在同一个github问题中也提到了这一点。

4.4。效果：

实际上，在我使用cypher批处理之前，我尝试使用get_or_create进行遗留索引（/ db / data / index / node / Post？uniqueness = get_or_create＆amp; / db / data / index / relationship / XXXXX？uniqueness = get_or_create）

由于这些遗留索引端点的性质（它们返回索引中数据的位置而不是实际数据存储中数据的位置），因此我无法在批处理中使用它们（需要先前创建的引用节点的功能）同一批次）

我知道我可以启用auto_indexing，直接处理数据存储而不是遗留索引，但他们从2.0.0提到，建议使用模式索引而不是传统索引，所以我决定切换到批处理+密码+模式索引方法

但是，对于批处理+密码，我每秒只能获得大约200个作业描述插入率，如果带有约束的MERGE总是有效的话会更高，让我们说600~800 / s，但它仍然很多低于5k / s。我也尝试了没有任何约束的模式索引，它在插入率方面的表现甚至更低。

Answer 1

使用2.0我将使用事务端点批量创建语句，例如每个http请求100或1000，每个事务约30k-50k（直到你提交）。

请参阅此内容，了解新的流式，事务性端点的格式：

http://docs.neo4j.org/chunked/milestone/rest-api-transactional.html

对于如此高性能的连续插入端点，我衷心建议编写一个服务器扩展，它将针对嵌入式API运行，并且每秒可以轻松插入10k或更多节点和关系，请参阅此处的文档：

http://docs.neo4j.org/chunked/milestone/server-unmanaged-extensions.html

对于纯插入物，您不需要Cypher。对于并发性，只需锁定一个众所周知的（每个要插入的子图）节点，以便并发插入没有问题，您可以使用tx.acquireWriteLock()或从节点中删除不存在的属性来执行此操作（REMOVE n.__lock__）。

有关编写非托管扩展（但使用cypher的扩展）的另一个示例，请查看此项目。它甚至有一个可以帮助你的模式（将CSV文件发布到服务器端点，每行使用一个cypher语句执行）。

https://github.com/jexp/cypher-rs

使用REST优化Neo4j中的大批量批量插入

1 个答案: