我有以下使用Spark的Python代码:
from pyspark.sql import Row
def simulate(a, b, c):
dict = Row(a=a, b=b, c=c)
df = sqlContext.createDataFrame(dict)
return df
df = simulate("a","b",10)
df.collect()
我正在创建一个Row
对象,我想将其另存为DataFrame
。
但是,我收到此错误:
TypeError: Can not infer schema for type: <type 'str'>
它出现在这一行:
df = sqlContext.createDataFrame(dict)
我做错了什么?
答案 0 :(得分:7)
创建单个元素数据框是没有意义的。如果您希望尽管使用该列表仍然有效:df = sqlContext.createDataFrame([dict])