使用Keras模型对PySpark数据帧进行预测

Question

嗨，我已经训练了Keras模型并将其存储在h5文件中。稍后，我将使用这些h5文件对PySpark数据帧执行预测。

model = load_model(path_to_h5_file)
get_pred = udf(lambda x: model.predict_proba(np.array([x])).tolist()[0][0], FloatType())

assembler = VectorAssembler(inputCols=[list_of_input_columns], outputCol = "preds")
data_transformed = assembler.transform(input_dataframe)
dataset = data_transformed.select("preds")
preds = dataset.withColumn('p_1', get_pred('preds'))

在运行最后一行之后，我遇到了以下错误：

py4j.Py4JException：Method__getnewargs __（[]）不存在

请帮助我解决此问题。或者让我知道是否还有其他方法可以执行此任务。预先感谢！