“ StructField”对象没有属性-“ _ get_object_id”

时间:2018-12-27 02:34:09

标签: python amazon-web-services pyspark amazon-emr

我试图通过使用BinaryClassificationMetrics中的pyspark.mllib.evaluation计算精确度/召回率(PR)和接收器工作特性(ROC)值来评估随机森林模型,但是我一直得到{{1} } 错误。我在Amazon EMR的群集上使用Jupyter笔记本,带有可选软件包Livy,TensorFlow和Spark(Sparkmagic,Pyspark);其他所有都只是默认设置。

以下代码为我重现该错误:

'StructField' object has no attribute '_get_object_id'

这是我得到的错误:

from pyspark import SparkContext   
from pyspark.sql import SparkSession   
import pyspark
from pyspark.mllib.evaluation import BinaryClassificationMetrics

a = sc.parallelize([
    (0.0, 1.0), (0.0, 1.0), (0.0, 1.0), (0.0, 1.0), (0.0, 1.0), 
    (0.0, 1.0), (0.0, 1.0), (0.0, 1.0), (0.0, 1.0), (0.0, 1.0), 
    (0.0, 1.0), (0.0, 1.0), (0.0, 0.0), (0.0, 0.0), (0.0, 0.0), 
    (0.0, 0.0), (0.0, 0.0), (0.0, 0.0), (0.0, 0.0), (0.0, 0.0), 
    (0.0, 0.0), (0.0, 0.0), (0.0, 0.0), (0.0, 0.0), (0.0, 0.0)
])  

metrics = BinaryClassificationMetrics(a)

0 个答案:

没有答案