如何遍历数据框而不转换为Spark中的数据集？

Question

我有一个要迭代的数据框，但是我不想将数据框转换为数据集。 我们必须将spark scala代码转换为pyspark，而pyspark不支持数据集。

我通过转换为数据集尝试了以下代码

data in file:

abc,a
mno,b
pqr,a
xyz,b

val a = sc.textFile("<path>")

//creating dataframe with column AA,BB

val b = a.map(x => x.split(",")).map(x =>(x(0).toString,x(1).toString)).toDF("AA","BB") 

b.registerTempTable("test")

case class T(AA:String, BB: String)

//creating dataset from dataframe

val d = b.as[T].collect       

d.foreach{ x=>
    var m = spark.sql(s"select * from test where BB = '${x.BB}'")
    m.show()
}

Without converting to dataset it gives error i.e. with

val d = b.collect

d.foreach{ x=>
    var m = spark.sql(s"select * from test where BB = '${x.BB}'")
    m.show()
}

它给出错误： 错误：值BB不是org.apache.spark.sql.ROW的成员

Answer 1

您不能像上面的代码中那样循环数据帧。使用数据框的rdd.collect循环数据框。

import spark.implicits._
val df = Seq(("abc","a"), ("mno","b"), ("pqr","a"),("xyz","b")).toDF("AA", "BB")
df.registerTempTable("test")
df.rdd.collect.foreach(x => {
     val BBvalue = x.mkString(",").split(",")(1)
     var m = spark.sql(s"select * from test where BB = '$BBvalue'")
     m.show()
})

在循环中，我使用mkString将rdd行转换为字符串，然后用逗号分割列值，并使用column的索引访问该值。例如，在上面的代码中，我使用了(1)，这意味着列BB的列索引为2。

如有任何疑问，请告诉我。