我尝试在线程中加载avro文件中的数据帧。它似乎没有出错,但我无法在其他线程中访问该数据帧。我的理解是所有线程都将具有相同的spark上下文。
有人完成了这个吗?
我试过了:
val thread = new Thread {
override def run {
var a = 1
while (a > 0) {
val someDF = Seq(
(8, "bat"),
(64, "mouse"),
(-27, "horse")
).toDF("number", "word")
} }
}
thread.start
someDF.show