火花提交-主纱-部署模式群集时出错

Question

在AWS EMR系统上提交我的应用程序时遇到错误。在客户端模式下提交spark应用程序工作正常。请告诉我是否还有其他配置需要完成才能在aws emr中以集群模式工作。

In [308]: np.random.choice([0, 1], p=[0.25, 0.75], size=16)
Out[308]: array([1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 0, 1, 1, 0, 0])

In [309]: %timeit np.random.choice([0, 1], p=[0.25, 0.75], size=10000)
227 µs ± 781 ns per loop (mean ± std. dev. of 7 runs, 1000 loops each)

Answer 1

要在纱线群集模式下执行spark作业时检查实际日志消息，请使用以下命令：

yarn logs -applicationId <application ID>

以上运行将为application_1544697633631_0011。