Question

我在我的群集的每个节点上安装了pre_built版本的spark，（只需下载然后解压缩）

问题1：

我是否必须将文件slaves.template和spark-env.sh.template复制到conf目录中然后编辑它们以将我的机器相互连接？如果是，我怎么能只通过命令

来做到这一点

问题2：

我在一台远程计算机上推出了master（当我想使用本地计算机访问spark web UI时

...

    } else if (id == R.id.nav_shooks) {

        FragmentManager fragmentManager = getFragmentManager();

        FragmentTransaction transaction = fragmentManager.beginTransaction();

        ShooksFragment fragment = new ShooksFragment();
        transaction.add(R.id.shooksLayout, fragment);

        transaction.commit();

    } else if (id == R.id.nav_prizes) {

...

我的浏览器上没有显示任何内容，为什么以及我缺少什么，？

问题3：

如果我的群集上有6个节点，并且如果我只想使用4个节点，那么我是否必须在主节点午餐，然后只在我想要使用的节点中午餐工作人员？

Answer 1

回答1：

您需要通过从中删除.template作为从属设备来重命名文件。 spark-env.sh。

假设有两台机器10.1.1.11（A）＆amp; 10.1.1.12（B）并且您希望在机器A上运行spark master，在A＆amp;运行中运行worker。 B然后在奴隶中你应该写下工人将要运行的所有IP：

示例从属文件

10.1.1.11
10.1.1.12

示例spark-env.sh文件

export SPARK_MASTER_MEMORY=1024M
export SPARK_DRIVER_MEMORY=1024M
export SPARK_WORKER_INSTANCES=1
export SPARK_EXECUTOR_INSTANCES=1
export SPARK_WORKER_MEMORY=1024M
export SPARK_EXECUTOR_MEMORY=1024M
export SPARK_WORKER_CORES=2
export SPARK_EXECUTOR_CORES=2
export SPARK_MASTER_IP=10.1.1.11
export SPARK_MASTER_WEBUI_PORT=8081

您可以使用更多可用选项配置spark-env.sh（只是一个脚本文件）here

回答2：

您可以更改spark Web UI端口通过编辑spark-env.sh来包含SPARK_MASTER_WEBUI_PORT=8081

然后你就可以在10.1.1.11:8081上点击web ui。

如果您无法解析主机名 check my answer here。

回答3：

您可以更改将在slave文件中运行worker的节点。

在集群上独立起火

1 个答案: