在将熊猫数据框转换为火花数据框时出错

时间:2020-06-16 14:41:55

标签: pandas pyspark

我有尝试转换为pyspark的熊猫代码,我收到以下错误消息:“无法合并类型'class'pyspark.sql.types.StringType'和类别'pyspark.sql.types.DoubleType'“

sc = SparkContext(master = "local", appName="geneateAggregationffile")
sqlContext = SQLContext(sc)

configsheet = pd.read_excel('Fin_withconfig.xlsx', sheet_name='Configuration', na_values=['NA'])

sp_df = sqlContext.createDataFrame(configsheet) 打印(sp_df)

在这里我无法创建用于映射列数据类型的架构,如何解决以上问题?

0 个答案:

没有答案