Neo4j使用py2neo从pandas dataframe创建节点和关系

时间:2017-08-17 14:40:52

标签: python pandas neo4j cypher py2neo

使用py2neo从Neo4j数据库上的密码查询获取pandas数据帧的结果非常简单,如下所示:

>>> from pandas import DataFrame
>>> DataFrame(graph.data("MATCH (a:Person) RETURN a.name, a.born LIMIT 4"))
   a.born              a.name
0    1964        Keanu Reeves
1    1967    Carrie-Anne Moss
2    1961  Laurence Fishburne
3    1960        Hugo Weaving

现在我正在尝试使用py2neo创建(或更好的MERGE)一组节点和关系,从pandas数据帧到Neo4j数据库。想象一下,我有一个类似的数据框:

LABEL1 LABEL2
p1 n1
p2 n1
p3 n2
p4 n2

其中标签是列标题,属性是值。我想为我的数据帧的每一行重现以下cypher查询(对于第一行作为示例):

query="""
    MATCH (a:Label1 {property:p1))
    MERGE (a)-[r:R_TYPE]->(b:Label2 {property:n1))
"""

我知道我可以告诉py2neo只是graph.run(query),或者甚至以相同的方式运行LOAD CSV cypher脚本,但我想知道我是否可以遍历数据帧并应用上面的查询行在py2neo中行。

2 个答案:

答案 0 :(得分:7)

您可以使用DataFrame.iterrows()遍历DataFrame并对每一行执行查询,并将行中的值作为参数传递。

for index, row in df.iterrows():
    graph.run('''
      MATCH (a:Label1 {property:$label1))
      MERGE (a)-[r:R_TYPE]->(b:Label2 {property:$label2))
    ''', parameters = {'label1': row['label1'], 'label2': row['label2']})

这将每行执行一个事务。我们可以将多个查询批处理到一个事务中以获得更好的性能。

tx = graph.begin()
for index, row in df.iterrows():
    tx.evaluate('''
      MATCH (a:Label1 {property:$label1))
      MERGE (a)-[r:R_TYPE]->(b:Label2 {property:$label2))
    ''', parameters = {'label1': row['label1'], 'label2': row['label2']})
tx.commit()

通常我们可以在单个事务中批量~20k数据库操作。

答案 1 :(得分:0)

我发现建议的解决方案对我不起作用。即使这些节点已经存在,上面的代码也会创建新的节点。为确保您不会创建任何重复项,建议同时匹配a之前的bmerge节点:

tx = graph.begin()
for index, row in df.iterrows():
    tx.evaluate('''
       MATCH (a:Label1 {property:$label1)), (b:Label2 {property:$label2))
       MERGE (a)-[r:R_TYPE]->(b))
       ''', parameters = {'label1': row['label1'], 'label2': row['label2']})
tx.commit()

就我而言,我还必须同时添加关系属性(请参见下面的代码)。而且,我要添加59k +关系,因此我可能会遇到Java堆内存错误。我通过将begin()commit()放入循环中解决了这个问题,因此为每个新关系创建了一个新事务:

for index, row in df.iterrows():
    tx = graph.begin()
    tx.evaluate('''
       MATCH (a:Label1 {property:$label1)), (b:Label2 {property:$label2))
       MERGE (a)-[r:R_TYPE{property_name:$p}]->(b))
       ''', parameters = {'label1': row['label1'], 'label2': row['label2'], 'p': row['property']})
    tx.commit()