如何使用PySpark将数据透视表转换为df

时间:2019-03-05 17:59:44

标签: dataframe group-by pyspark pivot pyspark-sql

我有以下问题:我正在使用PySpark从Snowflake读取一个表作为数据框。然后,我在数据框中执行数据透视。之后,我想将枢纽对象转换回数据框,以便再次将其写入雪花。

 df = spark.read.format(snowflakename) \
        .options(**snowflOpt) \
        .option("query",  "select DATE, PRODUCT, 
                           AMOUNT from DELIVERY_TBL") \
        .load()

df = df.withColumn("AMOUNT", df["AMOUNT"].cast(IntegerType()))

fs =df\
        .groupby(df.PRODUCT)\
        .pivot("DATE")\
        .sum("AMOUNT")\
        .show()
fs.show()

这是我的脚本。执行它时,(在打印数据透视表之后)出现以下错误

AttributeError: 'NoneType' object has no attribute 'show'

我的问题是如何再次将其转换为df,以便可以在Snowflake中编写它?谢谢。

0 个答案:

没有答案