在我的spark-defaults.conf
文件中,我有以下一行:
spark.master=yarn-client
现在,我启动一项工作,然后查看spark UI(位于<master ip address>:18080
),我在页面顶部看到以下内容:
REST URL: spark://<master ip address>:6066 (cluster mode)
我重新启动了所有火花工人和火花大师,并将spark-defaults.conf
文件分发给所有火花工人/奴隶。
我不知道这是在集群模式还是客户端模式下运行?为什么我的设置没有被火花UI所吸引?
答案 0 :(得分:1)
我不知道这是在集群模式还是客户端模式下运行?和 为什么我的设置没有被火花UI所吸引?
在端口18080上运行的Spark UI是spark历史记录服务器。如果您想查找特定应用程序所在的模式,请转到:18080),然后点击App ID
下的任意ID,即可转到Spark Jobs
页面。
在该页面上,点击Environment
标签。在该标签中,查找Spark Properties
部分,然后您将找到spark-master
属性,该属性将告诉您该应用运行的模式。