Question

我正在尝试运行我的第一个火花程序，但我对此感到困惑。

我正在为python使用enthought canopy并设置我的路径变量%SPARK_HOME%\ , %JAVA_HOME%\,C:\WINDOWS/system32。在我的ratings-counter.py命令promt中运行spark-submit canopy时，它显示spark-submit的错误未被识别为内部或外部命令，可操作程序或批处理文件。任何人都可以提供帮助很棒

Answer 1

在Windows中转到命令提示符并键入set SPARK_HOME

然后打印主目录，然后键入以下命令行：

%SPARK_HOME%\bin\spark-shell

如果它正确，那么您的配置是正确的。通过Canopy也可以尝试。

进一步......看看

提示从linux提示符中查找现有的spark配置：

查找您正在使用的现有火花安装和火花配置的位置。这通常在/etc/spark/conf

readlink -f spark-submit  // windows doesnt have readlink

输出就像

/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.27

/opt/cloudera/parcels/CDH-5.5.0-1.cdh5.5.0.p0.27/lib/spark/conf -> /etc/spark/conf

此外，请完成this
更新：how-to-start-a-spark-shell-using-pyspark-in-windows

spark-submit未被识别为内部或外部命令

1 个答案: