如何找到Spark的安装目录?

时间:2015-11-19 14:19:18

标签: java ubuntu apache-spark

我想要更改spark-env.sh。如何在ubuntu中找到安装目录?

我查看了用户界面,但没有找到任何内容。

whereis spark 

结果:spark:

这是locate命令的日志     找到火花

/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/11
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/13
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/files
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/jars
/home/sys6002/Desktop/diff spark hadoop.png
/home/sys6002/Desktop/sparkmain
/home/sys6002/Downloads/learning-spark-master.zip
/home/sys6002/Downloads/mongo-spark-master
/home/sys6002/Downloads/spark-1.5.1
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 (2)
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6.tgz
/home/sys6002/Downloads/spark-1.5.1-bin-without-hadoop
/home/sys6002/Downloads/spark-cassandra-connector-master
/home/sys6002/Downloads/spark-core_2.9.3-0.8.0-incubati
home/sys6002/anaconda3/pkgs/odo-0.3.2-np19py34_0/lib/python3.4/site-packages/odo/backends/tests/__pycache__/test_sparksql.cpython-34.pyc
/home/sys6002/spark-example/a.txt
/home/sys6002/spark-example/a.txt~
/home/sys6002/spark-example/pom.xml
/home/sys6002/spark-example/pom.xml~
/home/sys6002/spark-example/src
/home/sys6002/spark-example/src/main
/home/sys6002/spark-example/src/test
/home/sys6002/spark-example/src/main/java
/home/sys6002/spark-example/src/main/java/com
/home/sys6002/spark-example/src/main/java/com/geekcap
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/App.java
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/WordCount.java~
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java~

/home/sys6002/spark-example/src/test/java/com/geekcap/javaworld/AppTest.java
/usr/share/app-install/desktop/lightspark:lightspark.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare-invite-opener.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare.desktop

8 个答案:

答案 0 :(得分:9)

运行

echo 'sc.getConf.get("spark.home")' | spark-shell

稍后将打印出您的Spark主页,您将看到类似以下内容的

scala> sc.getConf.get("spark.home")
res0: String = /usr/local/lib/python3.7/site-packages/pyspark

所以在这种情况下,我的Spark Home是/usr/local/lib/python3.7/site-packages/pyspark

答案 1 :(得分:8)

您可以尝试以下两个命令:

  1. locate spark

  2. whereis spark

  3.   

    找到 - 对于每个给定的          模式,定位搜索文件名的一个或多个数据库和          显示包含该模式的文件名。模式可以          包含shell样式的元字符:'','?'和'[]'。该          元字符不处理'/'或'。'特别。因此,一个          pattern'foo bar'可以匹配包含'foo3 / bar'的文件名,以及          模式' duck '可以匹配包含'lake / .ducky'的文件名。          应引用包含元字符的模式以保护它们          来自外壳的扩张。

         

    whereis 找到指定的源/二进制和手册部分   文件。提供的名称首先被剥离了前导路径名   组件和.ext形式的任何(单个)尾随扩展名   例如,.c。 s的前缀。使用源代码控制   也处理。然后尝试找到所需的   程序在标准Linux位置列表中。

答案 2 :(得分:5)

这对我也很有用:

cd $SPARK_HOME

如果设置了环境变量,它将转到安装Spark的目录。

答案 3 :(得分:2)

为什么你需要Spark的主目录?您不一定要在本地安装Spark来运行Spark应用程序。您确实需要本地安装Spark包以使用Spark Standalone或通过YARN或Mesos群集进行分发,但它似乎不是您的情况。

你需要罐子,Spark的默认设置将完成其余的工作。

您可以在创建SparkContext实例时默认使用Web UI。

总而言之,Spark在您正在开发的一系列jar项目中,当您的Spark应用程序启动时,它会创建一个SparkContext,根据您的主URL将连接到运行时环境。

spark-env.sh中的环境变量可以使用SparkContext轻松设置。

答案 4 :(得分:2)

您应该搜索spark-shell

whereis spark-shell

通常,这将解析为类似/opt/spark-2.3.1-bin-hadoop2.7

的路径

答案 5 :(得分:1)

感谢Jacek,我发现Spark没有安装在我的机器上,我只是在项目中使用了火花库。

要添加更多内容,要在java项目中运行spark应用程序,您不一定需要apache sparkscalapyspark

包括罐子将使你的工作完成

答案 6 :(得分:0)

如果要从Mac中的Spark应用程序删除本地数据

转到

~/Library/Containers/

然后查找文件夹的名称得到了spark的东西

答案 7 :(得分:0)

如果找不到Spark所在的目录,则可以通过将环境变量SPARK_CONF_DIR设置为指向您喜欢的目录来覆盖默认目录。然后,Spark将使用该目录来找到spark-defaults.confspark-env.sh等。请参见https://spark.apache.org/docs/latest/configuration.html#overriding-configuration-directory