PicklingError:无法序列化对象:TypeError:无法序列化套接字对象

时间:2020-02-07 20:36:41

标签: database foreach pyspark

知道如何进行调试的任何人:

PicklingError: Could not serialize object: TypeError: Cannot serialize socket object

我试图通过运行一个简单的示例来测试使用pyspark中的foreach编写数据库:

dt = sc.parallelize(range(1, 1000))

def writeBatchData(b):

    session = driver.session()

    session.run('UNWIND {batch} AS row CREATE (n:Node {v: row})', {'batch': b})

    session.close()

dt.foreach(writeBatchData)

0 个答案:

没有答案