SparkException:作业因阶段失败而中止:阶段3.0中的任务0“

时间:2017-09-14 14:48:00

标签: scala apache-spark apache-spark-sql spark-dataframe bigdata

当我尝试在Scala中使用不同的线程加载多个数据帧时,是否有人知道为什么会出现此错误。

  

SparkException:作业因阶段失败而中止:阶段3.0中的任务0

这是我的代码:

val dataFrame = connector.createDataFrame(query)
dataFrame.printSchema()
println(dataFrame.count())

val dataFrame2 = connector.createDataFrame(query2)
dataFrame2.printSchema()
println(dataFrame2.count())

问题是当我尝试执行任何操作时,并不是因为内存不足,因为每个Dataframe只有100行。

0 个答案:

没有答案