Pyspark抛出错误：py4j.Py4JException：方法__getstate __（[]）不存在

Question

我在Scala文件中有一个方法，该方法在我的pyspark代码中返回py4j.java_collections.JavaMap。我相信我可以在Java地图上使用字典方法。但是，我不能。我试图从我的pyspark代码中使用用户定义的函数，我想在其中获取存储在能源 -Java Map中的值。

以下是我的pyspark代码：

energy = trcProcessor.getEnergyMap()
calculateEnergy = udf(lambda op, x: x*energy.get("ACT"), FloatType())

data = spark.read.parquet(trace_base_path).select('timestamp', 'command') \
        .filter(col("command").isin(["ACT", "PRE", "RD", "WR", "MWR"])) \
        .groupby(col("command")).agg((func.count("command")).alias('count') \ 
        .select("command", calculateEnergy(col("command"), col("count")).alias("totalEnergy(Joules)"))

我遇到以下错误：

py4j.protocol.Py4JError: An error occurred while calling o73.__getstate__. Trace:
py4j.Py4JException: Method __getstate__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:274)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

有人可以告诉我哪里出了问题以及如何解决这个问题。