直接在Keras(数据砖)中使用Spark DataFrame

时间:2019-01-15 18:32:54

标签: apache-spark dataframe keras pyspark databricks

我有一些文本希望与keras进行分类。我创建了一个接收文本并对其进行一些转换并最终对其进行热编码的管道。

现在,我想将OneHotEncoded列与label列一起直接传递到databricks中的keras中,但是我似乎做不到。我看到的所有示例似乎都以pandas数据框开头,然后转换为numpy数组。但是采用我的pyspark数据框并进行转换似乎会适得其反。

model.fit(trainingData.select('featuresFirst'), trainingData.select('label'))

给我:

AttributeError: 'DataFrame' object has no attribute 'values'


model.fit(trainingData.select('featuresFirst').collect(), trainingData.select('label').collect())

给我:

AttributeError: ndim

我在这里想念什么?

0 个答案:

没有答案