无法使用Streaming SparkContext在同一程序中启动SparkContext

时间:2016-04-26 19:19:31

标签: scala apache-spark spark-streaming

我创建了以下测试,将简单的线性回归模型拟合为虚拟流数据。 我使用超参数优化来查找线性模型的<li *ngFor=" #item of items " > <a href="#" (onclick)="this.hideme = !this.hideme">Click</a> <div [hidden]="this.hideme">Hide</div> </li> stepSizenumiterations的良好值。 一切都运行正常,除了注释掉的代码的最后几行:

initialWeights

问题在于SparkContext // Save the evaluations for further visualization // val gridEvalsRDD = sc.parallelize(gridEvals) // gridEvalsRDD.coalesce(1) // .map(e => "%.3f\t%.3f\t%d\t%.3f".format(e._1, e._2, e._3, e._4)) // .saveAsTextFile("data/mllib/streaming") 。如果我在测试开始时初始化它,那么程序显示错误。看起来sc应该以某种特殊的方式定义,以避免与sc(流式火花上下文)发生冲突。有什么想法吗?

整个代码:

scc

0 个答案:

没有答案