Spark - 从本地计算机添加工作者(独立的火花群集管理器)?

时间:2015-06-20 03:26:17

标签: parallel-processing apache-spark

在一台机器上运行spark 1.4.0时,我可以使用此命令添加worker" ./ bin / spark-class org.apache.spark.deploy.worker.Worker myhostname:7077" 。官方文档通过添加" myhostname:7077"来指出另一种方式。到" conf / slaves"文件后执行命令" sbin / start-all.sh"它调用master和conf / slaves文件中列出的所有worker。但是,后一种方法对我没有用(有超时错误)。任何人都可以帮我这个吗?

这是我的conf / slaves文件(假设主URL是myhostname:700):

MYHOSTNAME:700

1 个答案:

答案 0 :(得分:0)

conf.slaves文件应该只是主机名列表,你不需要包含spark运行的端口#(我想如果你这样做会尝试ssh在那个端口上,这可能是超时来自)。