neo4j读取实木复合地板柱状数据

时间:2019-10-19 21:16:56

标签: neo4j parquet

neo4j可以直接以某种方式读取镶木地板文件吗?

我有一个每天有大约2000万个条目的边缘列表,并且想将其提取。

布局类似于:

id,srd,dst,timestamp,weight,rel_kind

使用常规CSV方式听起来并不理想。

1 个答案:

答案 0 :(得分:0)

如果按常规方式您指的是Neo4j的LOAD CSV命令,那么什么似乎并不是最佳选择?我已经使用它将非常大的CSV加载到社区版中,并且效果很好。

在处理与您的CSV一样大的CSV时,您需要确保使用定期提交,以防止事务耗尽内存。以下是从LOAD CSV documentation page剪切/粘贴的示例:

USING PERIODIC COMMIT 500
LOAD CSV FROM 'https://neo4j.com/docs/cypher-manual/3.5/csv/artists.csv' AS line
CREATE (:Artist { name: line[1], year: toInteger(line[2])})

无论值多少,我通常使用比500大得多的值,例如10000或20000。