Question

我想在Spark Repl中迭代RDD，但它似乎无法正常工作

case class Person(age: Long, name: String)

val df = Seq(Person(24, "pedro"), Person(22, "fritz")).toDF()

val myWholeRDD : RDD[Row] = df.select("*").rdd

myWholeRDD.foreach(println)

Foreach是RDD中的一个函数，那么问题是什么？

这是我得到的例外

错误ExecutorClassLoader：无法检查是否存在类 REPL类服务器上的org.apache.spark.sql.catalyst.expressions.Object at spark：//10.203.125.99：61974 / classes java.io.IOException：失败连接到/10.203.125.99:61974 at org.apache.spark.network.client.TransportClientFactory.createClient（TransportClientFactory.java:232）在 org.apache.spark.network.client.TransportClientFactory.createClient（TransportClientFactory.java:182）在

Answer 1

错误日志表明它无法连接到主

无法连接到/10.203.125.99:61974 at org.apache.spark.network.client.TransportClientFactory.createClient（TransportClientFactory.java:232）

如果您尝试在本地运行spark-shell，则可以启动spark-shell

spark-shell --master local[*]

希望这有帮助！

无法迭代Spark RDD

1 个答案: