我想在我的hortonwork集群上配置spark。我在master上下载了spark tar文件并更新了配置,并在slave机器上复制了这些配置。
我用以下命令成功启动了我的火花大师。
./ start-master.sh
但是为了说明奴隶,它要求输入密码。
以下是我已更新的三个文件
火花defaults.conf
spark.master spark:// masternode:7077
spark.serializer org.apache.spark.serializer.KryoSerializer
CONF /从站
hduser@slave1.bigdata
hdsuer@slave2.bigdata
spark-env.sh
SPARK_JAVA_OPTS=-Dspark.driver.port=53411
HADOOP_CONF_DIR=$HADOOP_HOME/conf
SPARK_MASTER_IP=hadoop-master.bigdatacoe
SPARK_WORKER_INSTANCES=4
SPARK_MASTER_WEBUI_PORT=8081
我能够在没有密码的情况下ssh到slave节点,但仍然在启动spark slave时,它要求输入密码。
请告诉我这里缺少的东西。
提前致谢。