火花大师什么时候显示内存正在使用并且çores正在使用？

Question

我在YARN上运行火花。在端口8088的纱线UI中，我可以看到有一个工作明确地运行，当我点击右侧的ApplicationMaster时，它表明工作正在火花中进行。

当我去火花主机的端口18080时，我看到“正在使用的内存”为0，“正在使用的内核”为0，“应用程序：0正在运行”。

如何让spark master承认我正在运行应用程序并使用内核和内存？这项工作显然正在取得进展，因为我可以看到写入磁盘的内容，但为什么spark master不是最新的呢？

Answer 1

Spark Master是Spark Standalone的一个组件。 Yarn和Spark Standalone都是集群管理器。你应该只使用其中一个。如果您向Yarn提交申请，您将无法在Spark Master上看到它。在这种情况下，群集资源由Yarn管理，而不是Spark Master。