如何让Spark输出在不同的新行上打印?

时间:2016-01-04 20:02:57

标签: apache-spark pyspark apache-spark-sql

目前我的火花控制台打印得像这样,不太可读:

enter image description here

我希望它在新行上打印每个StructField项目,以便更容易阅读。我该怎么办?感谢。

更新: 我实际上是按照本教程(http://www.nodalpoint.com/spark-data-frames-from-csv-files-handling-headers-column-types/),作者能够在没有pprint的情况下逐行打印。我不知道他/她是怎么做到的。

2 个答案:

答案 0 :(得分:2)

您可以像这样使用pprint

import pprint
pprint(fields)

但如果您尝试打印架构,最好使用DataFrame.printSchema

答案 1 :(得分:1)

我通常使用:

fields.foreach(println)

当您从rdd或dataframe中检索数据时,它也有效:

myDf.collect().foreach(println)