如何在AWS

Question

我在AWS上以纱线群集模式运行火花应用程序。

如您所见，我无法从网上获得任何运行状态。

从控制台我只得到16/05/26 10:12:01 INFO yarn.Client: Application report for application_1464256533172_0002 (state: RUNNING)，表明它已经活着。

+++

这是在相同条件下的纱线客户端模式下的快照。

似乎没问题。至少显示了进度条。但即使在执行结束后，它再也没有改变，仍然显示0/368任务。

到现在为止，我只能说明在纱线客户端模式下可以显示运行状态但是永远不会更新... 那么如何在纱线群集模式下显示可更新状态....

Answer 1

我看不到执行人员正在运行的任何工作。检查您的代码，看看您是否在Spark工作中对RDD做过任何操作。