如何将包含numpy.ndarray元素的熊猫数据框转换为pyspark数据框?

时间:2019-09-18 04:14:44

标签: pyspark apache-spark-sql

如何将包含numpy.ndarray的熊猫数据帧表保存到pyspark数据帧中?

    data = [['tom', [1,2,3,4]], ['nick', [1,5,4,3]], ['juli', [1,2,4,3]]] 
    df = pd.DataFrame(data, columns = ['Name', 'Age']) 

我很累

    spark.createDataFrame(df)

会出现如下错误:

    TypeError: not supported type: <class 'numpy.ndarray'>

我希望我可以将这个熊猫df保存到pyspark df中。谢谢!

0 个答案:

没有答案