目前我的火花控制台打印得像这样,不太可读:
我希望它在新行上打印每个StructField项目,以便更容易阅读。我该怎么办?感谢。
更新: 我实际上是按照本教程(http://www.nodalpoint.com/spark-data-frames-from-csv-files-handling-headers-column-types/),作者能够在没有pprint的情况下逐行打印。我不知道他/她是怎么做到的。
答案 0 :(得分:2)
您可以像这样使用pprint
:
import pprint
pprint(fields)
但如果您尝试打印架构,最好使用DataFrame.printSchema
。
答案 1 :(得分:1)
我通常使用:
fields.foreach(println)
当您从rdd或dataframe中检索数据时,它也有效:
myDf.collect().foreach(println)