火花容器手动配置

Question

我一直在尝试在Hadoop上运行Spark以运行应用程序，但是一切似乎都很好，并且我成功地获得了一个应用程序，但是当O看到应用程序跟踪Spark的UI时，它仅向节点显示具有以下容器： 4个节点群集（包括主节点）。我无法将每个节点配置为具有一个群集。

请提供解决方案的帮助

• 应用程序界面

  

• Spark UI

  

• Spark conf文件

  

Answer 1

当Spark将作业提交给YARN资源管理器时，它会根据数据大小，分区，数据位置以及相应的执行者数量来制定逻辑和物理执行计划，并且这些计划都会自动发生。您仍然可以配置必需的执行程序编号，但是可以在单个节点中运行，也可以在群集中的不同节点中运行，也可以在特定节点中运行它们，这取决于您提交的数据位置和作业类型。您不能指示YARN在群集中所有节点上运行所有执行程序，但是如果您有非常大的数据集和复杂的转换，它将自动使用节点中的所有群集。

Read More