Question

我通常用以下方式启动我的火花壳：

./bin/spark-shell --packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1

我现在正在尝试使用Apache Toree，如何在笔记本上加载这些库？

我尝试了以下内容：

jupyter toree install --user --spark_home=/home/eron/spark-1.6.1/ --spark_opts="--packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1"

但这似乎不起作用

Answer 1

当您正确安装Apache Toree作为Jupyter的内核时，您可以在笔记本单元中定义Maven依赖关系，如下所示：

%AddDeps org.apache.spark spark-mllib_2.10 1.6.2
%AddDeps com.github.haifengl smile-core 1.1.0 --transitive
%AddDeps io.reactivex rxscala_2.10 0.26.1 --transitive
%AddDeps com.chuusai shapeless_2.10 2.3.0 --repository https://oss.sonatype.org/content/repositories/releases/
%AddDeps org.tmoerman plongeur-spark_2.10 0.3.9 --repository file:/Users/tmo/.m2/repository

（摘自this notebook）

%AddDeps是一个所谓的 magic ，如Spark-kernel（现在更名为Toree）wiki中所述。

Answer 2

您可以在SPARK_OPTS环境变量中指定包：

export SPARK_OPTS='--packages com.databricks:spark-csv_2.10:1.4.0'

修改spark-defaults.conf也有效：

echo spark.jars.packages=com.databricks:spark-csv_2.10:1.4.0 | sudo tee -a $SPARK_HOME/conf/spark-defaults.conf

Answer 3

我认为您还可以在笔记本中使用％AddDeps。例如，像这样：

%AddDeps "graphframes" % "graphframes" % "0.1.0-spark1.6" --repository http://dl.bintray.com/spark-packages/maven

在toree中安装spark包

3 个答案: