浏览Scala中的DataFrames序列

Question

我有一个返回dataFrames val的函数，这是一个由三个数据帧组成的序列。如何浏览此val以打印数据框内容？

val dataFrames : Seq[(DataFrame,DataFrame,DataFrame)]=  <function-returned-value>

我已经尝试了foreach()，但它会抛出错误。我理解错误，但无法找出正确的语法

dataFrames.foreach(x=>x.show())

  

消息:: 84：错误：值显示不是（org.apache.spark.sql.DataFrame，org.apache.spark.sql.DataFrame，org.apache.spark.sql.DataFrame）的成员

dataFrames.foreach(x=>x.show())

由于

Answer 1

您是在询问如何打印数据框的内容或如何循环播放序列？

数据框通常要大到打印，show方法可用于打印前X个元素。例如，以下将打印前100行

df.show(100)

您可以随时收集数据框，然后如果您知道它足够小以适合驱动程序，则逐个打印行。

至于循环序列和元组，你可以做类似的事情：

val dataFrames: Seq[(DataFrame,DataFrame,DataFrame)]
for {
    x <- dataFrames
} {
  x._1.show(100)
  x._2.show(100)
  x._3.show(100)
}