spark多线程共享数据帧

时间:2018-05-18 17:50:52

标签: multithreading scala apache-spark apache-spark-sql

我尝试在线程中加载avro文件中的数据帧。它似乎没有出错,但我无法在其他线程中访问该数据帧。我的理解是所有线程都将具有相同的spark上下文。

有人完成了这个吗?

我试过了:

val thread = new Thread {
     override def run {
     var a = 1
     while (a > 0) {
       val someDF = Seq(
                    (8, "bat"),
                    (64, "mouse"),
                    (-27, "horse")
                  ).toDF("number", "word")
    } }

   }
thread.start


someDF.show

0 个答案:

没有答案