我最近使用jars文件来允许mongodb与spark集成,所以我输入:
pyspark --jars mongo-hadoop-spark-2.0.2.jar,mongo-java-driver-3.4.2.jar,mongo-hadoop-2.0.2.jar
让我从pyspark shell与mongodb数据库进行交互。
第二,我在命令行'jupyter notebook'中使用jupyter笔记本并编写:
import findspark
findspark.init()
import pyspark
sc = pyspark.SparkContext()
在jupyter中运行pyspark命令。
我如何告诉Spark像我使用Shell一样自动集成jar文件?我是否应该在spark目录中填充一些配置文件(在我的$ SPARK_HOME中,还是可以从jupyter笔记本内部进行配置?
谢谢。
PS:我是信息迷;)