pyspark,罐子和jupyter笔记本

时间:2018-08-24 12:19:05

标签: apache-spark pyspark jupyter-notebook

我最近使用jars文件来允许mongodb与spark集成,所以我输入:

pyspark --jars mongo-hadoop-spark-2.0.2.jar,mongo-java-driver-3.4.2.jar,mongo-hadoop-2.0.2.jar

让我从pyspark shell与mongodb数据库进行交互。

第二,我在命令行'jupyter notebook'中使用jupyter笔记本并编写:

import findspark
findspark.init()
import pyspark
sc = pyspark.SparkContext()

在jupyter中运行pyspark命令。

我如何告诉Spark像我使用Shell一样自动集成jar文件?我是否应该在spark目录中填充一些配置文件(在我的$ SPARK_HOME中,还是可以从jupyter笔记本内部进行配置?

谢谢。

PS:我是信息迷;)

0 个答案:

没有答案