为什么我的应用程序没有完成火花

时间:2016-09-13 01:25:36

标签: memory apache-spark cluster-computing

我运行一个火花应用程序(输入90Mo),根据作业UI,我的所有工作都已完成,但我注意到我的应用程序还没有完成,这是最后的消息(为什么我不能得到它SC已经成功停止了)

  

16/09/13 02:17:31 INFO DAGScheduler:作业15完成:saveAsTextFile at slowlyChangingDimension.java:244,花了1,222274 s   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.45:46789上的broadcast_49_piece0(大小:26.2 KB,免费:1424.7 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.51:54860上的broadcast_49_piece0(大小:26.2 KB,免费:1424.7 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.45:46789上的broadcast_48_piece0(大小:4.4 KB,免费:1424.7 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.53:56003上的broadcast_48_piece0(大小:4.4 KB,免费:1458.5 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.47:51300上的broadcast_48_piece0(大小:4.4 KB,免费:1458.5 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.51:54860上的broadcast_48_piece0(大小:4.4 KB,免费:1424.7 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.54:44644上的broadcast_48_piece0(大小:4.4 KB,免费:1458.6 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.52:32794上的broadcast_48_piece0(大小:4.4 KB,免费:1458.6 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.45:46789上的broadcast_47_piece0(大小:26.2 KB,免费:1424.7 MB)   16/09/13 02:17:38 INFO BlockManagerInfo:在内存中删除了10.0.10.48:54348上的broadcast_47_piece0(大小:26.2 KB,免费:1458.6 MB)   16/09/13 02:17:38 INFO ContextCleaner:Cleaned shuffle 28

1 个答案:

答案 0 :(得分:1)

因为这是批处理应用程序。你应该在程序的最后一行使用 context.stop() ,然后它会正常工作。
如果不是这样,那么您可以共享您正在运行的代码。