如何将包含numpy.ndarray的熊猫数据帧表保存到pyspark数据帧中?
data = [['tom', [1,2,3,4]], ['nick', [1,5,4,3]], ['juli', [1,2,4,3]]]
df = pd.DataFrame(data, columns = ['Name', 'Age'])
我很累
spark.createDataFrame(df)
会出现如下错误:
TypeError: not supported type: <class 'numpy.ndarray'>
我希望我可以将这个熊猫df保存到pyspark df中。谢谢!