如何使用PySark,Pyspark显示数据透视图?

时间:2017-01-27 13:10:10

标签: python apache-spark pyspark apache-spark-sql spark-dataframe

我无法使用PySpark显示/显示/打印透视数据框。虽然数据框似乎已被转动,但当我尝试在其上使用show()时,它会显示AttributeError: 'GroupedData' object has no attribute 'show'

这是代码

meterdata = sqlContext.read.format("com.databricks.spark.csv").option("delimiter", ",").option("header", "false").load("/CBIES/meters/")

metercols = meterdata.groupBy("C0").pivot("C1")
metercols.show()  


Output:  Traceback (most recent call last): File "/tmp/zeppelin_pyspark-8003809301447367155.py", line 239, in eval(compiledCode) File " ", line 1, in AttributeError: 'GroupedData' object has no attribute 'show'

1 个答案:

答案 0 :(得分:4)

pivot()方法返回GroupedData对象,就像groupBy()一样。您之前不能在GroupedData对象上使用show()而不使用聚合函数(例如sum()甚至count())。

有关详细信息,请参阅this articlePySpark documentation