我试图在python中运行以下代码:
Could not pickle thread lock
我知道,它根本没有意义,但它确实重现了我的错误。
ConcurrentMap.computeIfPresent
或类似的东西。
到目前为止,我发现它与日志记录对象有关,并且在extract_udf()中调用了self方法。当我删除日志记录时,它将起作用,当我使用非对象函数而不是self.test()时,它也会起作用。
您对如何解决这个问题有任何想法,或者可以解释为什么会发生这种情况?
我不知道链接消失的原因,但我想我会在这里试试这篇文章: How to process RDDs using a Python class?
虽然我的问题似乎有所不同,但只要我不参与记录,它就会起作用。