Question

我正在尝试在PySpark上运行NuPIC，但遇到了ImportError。有人对我如何解决有任何想法吗？

当我不使用PySpark时，代码运行良好，但是我现在尝试从Spark数据集运行它。

我试图使用目录中的源代码运行它，因为通过安装Nupic软件包运行它会导致其他一些错误。

谢谢您的帮助！

我正在尝试运行此功能

input_data.rdd.foreach(lambda row: iterateRDD(row, model))
def iterateRDD(record, model):
    modelInput = record.asDict(False)
    modelInput["value"] = float(modelInput["value"])
    modelInput["timestamp"] = datetime.datetime.strptime(modelInput["timestamp"], "%Y-%m-%d %H:%M:%S")
    print"modelInput", modelInput
    result = model.run(modelInput)
    anomalyScore = result.inferences['anomalyScore']
    print "Anomaly score is", anomalyScore

但是，我收到此错误并且不理解。

文件 “ C：/Users/rakshit.trn/Documents/Nupic/nupic-master/examples/anomaly.py”，第100行，在runAnomaly中 input_data.rdd.foreach（lambda行：iterateRDD（行，模型））文件“ C：\ Python \ Python27 \ lib \ site-packages \ pyspark \ rdd.py”，行789，在foreach中self.mapPartitions（processPartition）.count（）＃强制评估文件“ C：\ Python \ Python27 \ lib \ site-packages \ pyspark \ rdd.py”，第1055行，计数返回self.mapPartitions（lambda i：[sum（1表示_ 在i）]）。sum（）文件中 “ C：\ Python \ Python27 \ lib \ site-packages \ pyspark \ rdd.py”，第1046行，在 sum return self.mapPartitions（lambda x：[sum（x）]）。fold（0， operator.add）文件 “ C：\ Python \ Python27 \ lib \ site-packages \ pyspark \ rdd.py”，第917行，在折叠vals = self.mapPartitions（func）.collect（）文件 “ C：\ Python \ Python27 \ lib \ site-packages \ pyspark \ rdd.py”，行816，在收集sock_info = self.ctx._jvm.PythonRDD.collectAndServe（self._jrdd.rdd（））文件 “ C：\ Python \ Python27 \ lib \ site-packages \ py4j \ java_gateway.py”，行 1257，在呼叫答案中，self.gateway_client，self.target_id， self.name）文件 “ C：\ Python \ Python27 \ lib \ site-packages \ pyspark \ sql \ utils.py”，第63行，在装饰中返回f（* a，** kw）文件 “ C：\ Python \ Python27 \ lib \ site-packages \ py4j \ protocol.py”，第328行，在 get_return_value格式（target_id，“。”，名称），值） py4j.protocol.Py4JJavaError：调用时发生错误 z：org.apache.spark.api.python.PythonRDD.collectAndServe。： org.apache.spark.SparkException：由于阶段失败，作业中止了：阶段2.0中的任务0失败1次，最近一次失败：丢失任务0.0 在阶段2.0（TID 2，本地主机，执行程序驱动程序）中： org.apache.spark.api.python.PythonException：追溯（最新最后调用）：文件 “ D：\ spark-2.4.3-bin-hadoop2.7 \ python \ lib \ pyspark.zip \ pyspark \ worker.py”，主文件中的第364行 “ D：\ spark-2.4.3-bin-hadoop2.7 \ python \ lib \ pyspark.zip \ pyspark \ worker.py”， read_command文件中的第69行 “ D：\ spark-2.4.3-bin-hadoop2.7 \ python \ lib \ pyspark.zip \ pyspark \ serializers.py”， _read_with_length中的第172行返回self.loads（obj）文件 “ D：\ spark-2.4.3-bin-hadoop2.7 \ python \ lib \ pyspark.zip \ pyspark \ serializers.py”，第583行，在加载中返回pickle.loads（obj）ImportError：无模块命名为frameworks.opf.htm_prediction_model

我想NuPIC无法访问frameworks / opf / htm_prediction_model.py文件

Answer 1

您可能正在运行旧版本的NuPIC。查看https://discourse.numenta.org/t/warning-0-7-0-breaking-changes/2200，并检查您使用的是哪个版本（https://discourse.numenta.org/t/how-to-check-what-version-of-nupic-is-installed/1045）

在PySpark上运行NuPIC模型时出现ImportError

1 个答案: