Question

与Failed to start master for spark in windows 10相同的问题也未解决。

通过测试pyspark.cmd和spark-shell.cmd

，我的火花效果很好

跑完.\sbin\start-master.sh后，我得到了：

ps: unknown option -- o
Try 'ps --help' for more information.
starting org.apache.spark.deploy.master.Master, logging to C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out
ps: unknown option -- o
Try 'ps --help' for more information.
failed to launch org.apache.spark.deploy.master.Master:
  ========================================
  Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M
full log in C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out

我尝试访问Web UI，而localhost：4040正在使用localhost：8080无法访问。

我发现在％SPARK_HOME％/ logs文件夹中创建了.log文件。它们包含相同的内容：

Spark命令：

C:\Program Files\Java\jdk1.7.0_79\bin\java -cp C:\spark-1.6.1-bin-hadoop2.6/conf\;C:\spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-api-jdo-3.2.6.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-core-3.2.10.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip hahaha-PC --port 7077 --webui-port 8080

========================================
Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M

工作环境： Spark：1.6.1 Windows 10

期待您的回复并感谢您的时间！

Answer 1

位于%SPARK_HOME%\sbin的启动脚本不支持Windows。您需要手动运行master和worker，如下所示。

在命令提示符中转到%SPARK_HOME%\bin文件夹
运行spark-class org.apache.spark.deploy.master.Master以运行主服务器。这会为您提供spark://ip:port
运行spark-class org.apache.spark.deploy.worker.Worker spark://ip:port以运行该工作程序。确保使用在步骤2中获得的URL。
运行spark-shell --master spark://ip:port将应用程序连接到新创建的群集。

Answer 2

如果您想要启动主工作者和奴隶，这应该适合您。它对我有用

要在spark / bin目录中启动master worker open windows命令提示符，请复制并粘贴此命令并按Enter键

spark-class org.apache.spark.deploy.master.Master

您需要将浏览器指向http://localhost:8080/。如果您收到错误消息“找不到服务器”刷新页面。在此页面中，您将获得您独特的网址。看起来像这个URL：spark：//192.xxx.xx.xxx：7077

打开一个新终端，然后转到％SPARK_HOME％/ bin，复制并粘贴这行代码，然后按回车键。

spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

此部分

spark://ip:port

注意：不支持JDK 1.9

Answer 3

刚刚在这里找到答案：https://spark.apache.org/docs/1.2.0/spark-standalone.html

“注意：启动脚本目前不支持Windows。要在Windows上运行Spark群集，请手动启动master和worker。”

Answer 4

执行spark-class org.apache.spark.deploy.master.Master后，只需转到http://localhost:8080即可获取ip：port。然后打开另一个命令shell来执行spark-class org.apache.spark.deploy.worker.Worker spark：// IP：PORT

Answer 5

一个小技巧应该有所帮助。我将JAVA_HOME路径更改为DOS版本：例如c：\ Progra~1 \ Java \ jre1.8.0_131然后重新启动。在此之后，我能够运行上面提到的spark-class org.apache ...命令。

无法在Windows中启动Spark的master

5 个答案: