如何将Databricks spark-csv包添加到IBM Bluemix上的Python Jupyter笔记本中

Question

我知道我应该在启动pyspark时将其添加为包装要求：

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0

但是在Bluemix中，spark已经在运行，并且已经定义了一个spark上下文。我该如何添加此包？

另外，我可以在Scala中执行此操作吗？

Answer 1

目前在Bluemix上，在Python笔记本中使用PySpark，无法将spark-csv添加到环境中。

但是，您可以使用以下命令将其添加到Scala笔记本中：

%AddDeps com.databricks spark-csv_2.10 1.3.0 --transitive

当然，您可以选择其他版本的包。

对于Scala笔记本和相应的Spark内核，请查看以下文档： https://github.com/ibm-et/spark-kernel/wiki/List-of-Current-Magics-for-the-Spark-Kernel