标签： hadoop apache-spark hdfs
我正在和Hadoop一起运行一个大型的Spark工作（大约20TB并存储到HDFS）。火花控制台显示作业已完成，但Hadoop仍在运行作业，无论是在控制台还是日志仍在“正在运行”。
在我担心之前，我应该等多久？
答案 0 :(得分：0)
您可以尝试干净地停止火花上下文。如果你还没有关闭它，在作业结束时添加一个sparkcontext stop方法。例如
sc.stop()