从postgres到Neo4j的数据导入在Talend中花费了大量时间

时间:2016-08-12 13:55:17

标签: neo4j etl talend

我是Talend的新手,我正在设计一个数据流来将我的数据从postgres传输到neo4j。我正在使用" Talend open studio for big data"开源版本6.2.1。

现在我有一个初始设计,它获取用户和项目,将它们导入neo4j,然后创建" USER- [Has_Rated] - > ITEM"关系。问题是插入User和Item节点异常缓慢!像每秒100个用户!我有300万用户。我正在使用现有的数据库连接,因此性能较慢的根本原因来自其他地方。我启用了多线程选项,但没有改变任何东西。我想也许并行执行可能是一个解决方案,无法找到如何将其添加到我的设计中。 任何人都知道如何让它更快? 谢谢 ! 丽娜

P.S。我确信导出 - 导入过程可以更快地工作,因为我已经实现了一个示例代码(使用LOAD CSV),它在一分钟内插入了超过一百万个节点!

0 个答案:

没有答案