我想要更改spark-env.sh
。如何在ubuntu中找到安装目录?
我查看了用户界面,但没有找到任何内容。
whereis spark
结果:spark:
这是locate命令的日志 找到火花
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/11
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/13
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/files
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/jars
/home/sys6002/Desktop/diff spark hadoop.png
/home/sys6002/Desktop/sparkmain
/home/sys6002/Downloads/learning-spark-master.zip
/home/sys6002/Downloads/mongo-spark-master
/home/sys6002/Downloads/spark-1.5.1
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 (2)
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6.tgz
/home/sys6002/Downloads/spark-1.5.1-bin-without-hadoop
/home/sys6002/Downloads/spark-cassandra-connector-master
/home/sys6002/Downloads/spark-core_2.9.3-0.8.0-incubati
home/sys6002/anaconda3/pkgs/odo-0.3.2-np19py34_0/lib/python3.4/site-packages/odo/backends/tests/__pycache__/test_sparksql.cpython-34.pyc
/home/sys6002/spark-example/a.txt
/home/sys6002/spark-example/a.txt~
/home/sys6002/spark-example/pom.xml
/home/sys6002/spark-example/pom.xml~
/home/sys6002/spark-example/src
/home/sys6002/spark-example/src/main
/home/sys6002/spark-example/src/test
/home/sys6002/spark-example/src/main/java
/home/sys6002/spark-example/src/main/java/com
/home/sys6002/spark-example/src/main/java/com/geekcap
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/App.java
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/WordCount.java~
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java~
/home/sys6002/spark-example/src/test/java/com/geekcap/javaworld/AppTest.java
/usr/share/app-install/desktop/lightspark:lightspark.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare-invite-opener.desktop
/usr/share/app-install/desktop/sparkleshare:sparkleshare.desktop
答案 0 :(得分:9)
运行
echo 'sc.getConf.get("spark.home")' | spark-shell
稍后将打印出您的Spark主页,您将看到类似以下内容的
:scala> sc.getConf.get("spark.home")
res0: String = /usr/local/lib/python3.7/site-packages/pyspark
所以在这种情况下,我的Spark Home是/usr/local/lib/python3.7/site-packages/pyspark
答案 1 :(得分:8)
您可以尝试以下两个命令:
locate spark
whereis spark
找到 - 对于每个给定的 模式,定位搜索文件名的一个或多个数据库和 显示包含该模式的文件名。模式可以 包含shell样式的元字符:'','?'和'[]'。该 元字符不处理'/'或'。'特别。因此,一个 pattern'foo bar'可以匹配包含'foo3 / bar'的文件名,以及 模式' duck '可以匹配包含'lake / .ducky'的文件名。 应引用包含元字符的模式以保护它们 来自外壳的扩张。
whereis 找到指定的源/二进制和手册部分 文件。提供的名称首先被剥离了前导路径名 组件和.ext形式的任何(单个)尾随扩展名 例如,.c。 s的前缀。使用源代码控制 也处理。然后尝试找到所需的 程序在标准Linux位置列表中。
答案 2 :(得分:5)
这对我也很有用:
cd $SPARK_HOME
如果设置了环境变量,它将转到安装Spark的目录。
答案 3 :(得分:2)
为什么你需要Spark的主目录?您不一定要在本地安装Spark来运行Spark应用程序。您确实需要本地安装Spark包以使用Spark Standalone或通过YARN或Mesos群集进行分发,但它似乎不是您的情况。
你需要罐子,Spark的默认设置将完成其余的工作。
您可以在创建SparkContext实例时默认使用Web UI。
总而言之,Spark在您正在开发的一系列jar项目中,当您的Spark应用程序启动时,它会创建一个SparkContext,根据您的主URL将连接到运行时环境。
spark-env.sh
中的环境变量可以使用SparkContext
轻松设置。
答案 4 :(得分:2)
您应该搜索spark-shell
whereis spark-shell
通常,这将解析为类似/opt/spark-2.3.1-bin-hadoop2.7
答案 5 :(得分:1)
感谢Jacek,我发现Spark没有安装在我的机器上,我只是在项目中使用了火花库。
要添加更多内容,要在java项目中运行spark应用程序,您不一定需要apache spark
,scala
和pyspark
。
包括罐子将使你的工作完成
答案 6 :(得分:0)
转到
~/Library/Containers/
然后查找文件夹的名称得到了spark
的东西
答案 7 :(得分:0)
如果找不到Spark所在的目录,则可以通过将环境变量SPARK_CONF_DIR
设置为指向您喜欢的目录来覆盖默认目录。然后,Spark将使用该目录来找到spark-defaults.conf
,spark-env.sh
等。请参见https://spark.apache.org/docs/latest/configuration.html#overriding-configuration-directory