我有一些文本希望与keras进行分类。我创建了一个接收文本并对其进行一些转换并最终对其进行热编码的管道。
现在,我想将OneHotEncoded列与label列一起直接传递到databricks中的keras中,但是我似乎做不到。我看到的所有示例似乎都以pandas数据框开头,然后转换为numpy数组。但是采用我的pyspark数据框并进行转换似乎会适得其反。
model.fit(trainingData.select('featuresFirst'), trainingData.select('label'))
给我:
AttributeError: 'DataFrame' object has no attribute 'values'
model.fit(trainingData.select('featuresFirst').collect(), trainingData.select('label').collect())
给我:
AttributeError: ndim
我在这里想念什么?