如何将PySpark中的DataFrame输出保存到TextFile？

Question

我在下面有一个DataFrame（表），并且在_3和_4列上使用求和函数。

df.show()
+---------+------+---+---+
|       _1|    _2| _3| _4|
+---------+------+---+---+
| playerID|yearID| HR|RBI|
|aardsda01|  2004|  0|  0|
|aardsda01|  2006|  0|  0|
|aardsda01|  2007|  0|  0|
|aardsda01|  2008|  0|  0|
|aardsda01|  2009|  0|  0|
|aardsda01|  2010|  0|  0|
|aaronha01|  1954| 13| 69|
|aaronha01|  1955| 27|106|
|aaronha01|  1956| 26| 92|
|aaronha01|  1957| 44|132|
|aaronha01|  1958| 30| 95|
|aaronha01|  1959| 39|123|
|aaronha01|  1960| 40|126|
|aaronha01|  1961| 34|120|
|aaronha01|  1962| 45|128|
|aaronha01|  1963| 44|130|
|aaronha01|  1964| 24| 95|
|aaronha01|  1965| 32| 89|
|aaronha01|  1966| 44|127|
+---------+------+---+---+
only showing top 20 rows

我想将以下内容的输出存储到TextFile中。

df.agg({'_3':'sum','_4':'sum'}).show()
+--------+---------+                                                            
| sum(_3)|  sum(_4)|
+--------+---------+
|264983.0|1642662.0|

Answer 1

这个问题是重复的。

您可以使用databricks格式将输出另存为文本文件：

myDF.write.format("com.databricks.spark.csv").option("header", "true").save("output.csv")

您可以使用：

df.agg({'_3':'sum','_4':'sum'}).write.format("com.databricks.spark.csv").option("header", "true").save("output.csv")