我在spark-env.sh中完成了以下配置:
export SPARK_MASTER_PORT=8080
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=8g
export SPARK_WORKER_INSTANCES=1
export SPARK_DAEMON_MEMORY=512m
export SPARK_LOCAL_DIRS=/tmp/spark
export SPARK_MASTER_IP='localhost'
slaves.sh:
localhost
之后,运行命令:./sbin/start-master.sh
输出:
启动org.apache.spark.deploy.master.Master,登录到 /opt/Spark/spark-2.0.2-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-s.out。
返回命令提示符。输出没有url,如spark-standalone doc中所述,输入localhost:8080
显示网站无法访问。当我再次尝试运行主服务器时,它表明它已经是一个正在运行的进程。我已经为java,python和spark设置了所有路径。我做错了什么,或者还有什么需要做的,以便火花主用户界面启动?或者即使所有其他网页都正常加载,我的代理可能有问题吗?
注意:我使用的是Linux操作系统和spark-2.0.2-bin-hadoop2.7