Question

与数据块的连接可以正常工作，与DataFrames的连接也可以顺利进行（连接，过滤等操作）。当我在数据帧上调用cache时出现问题。

py4j.protocol.Py4JJavaError: An error occurred while calling o342.cache.
: java.io.InvalidClassException: failed to read class descriptor
...
Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD$client53442a94a3$$anonfun$mapPartitions$1$$anonfun$apply$23
    at java.lang.ClassLoader.findClass(ClassLoader.java:523)
    at org.apache.spark.util.ParentClassLoader.findClass(ParentClassLoader.java:35)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at org.apache.spark.util.ParentClassLoader.loadClass(ParentClassLoader.java:40)
    at org.apache.spark.util.ChildFirstURLClassLoader.loadClass(ChildFirstURLClassLoader.java:48)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:257)
    at org.apache.spark.sql.util.ProtoSerializer.org$apache$spark$sql$util$ProtoSerializer$$readResolveClassDescriptor(ProtoSerializer.scala:4316)
    at org.apache.spark.sql.util.ProtoSerializer$$anon$4.readClassDescriptor(ProtoSerializer.scala:4304)
    at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1857)
    ... 71 more

我根据需要使用java8，清除pycache并没有帮助。作为作业提交给数据块的相同代码也可以正常工作。在桥接python-jvm级别上看起来像是本地问题，但是需要使用Java版本（8）和python（3.7）。切换到java13会产生完全相同的消息。

版本databricks-connect==6.2.0，openjdk version "1.8.0_242"，Python 3.7.6

编辑：行为取决于DF的创建方式，如果DF的来源是外部的，那么它可以正常工作，如果DF的创建是本地的，则将出现此类错误。

# works fine
df = spark.read.csv("dbfs:/some.csv")
df.cache()

# ERROR in 'cache' line
df = spark.createDataFrame([("a",), ("b",)])
df.cache()

Answer 1

这是一个已知问题，我认为最近的补丁已解决。对于Azure来说是这样，我不确定您使用的是哪个Azure还是AWS，但是已经解决了。请检查问题-https://github.com/MicrosoftDocs/azure-docs/issues/52431

databricks-connect，py4j.protocol.Py4JJavaError：调用o342.cache时发生错误

1 个答案: