如何在HDInsight Jupyter上添加外部依赖项？

Question

我在Azure上使用HDInsight Spark群集，而Jupyter无法添加外部依赖项。试过这个：

但是，如果我犯了故意错误：

%%configure
{ "packages":["com.websudos:phantom_2.10:1.27.111111111111"] }

所以这是试图解决包，只是不加载它们？

有没有其他方法可以使这件事有效？

Answer 1

您使用的套餐不是正确的套餐。故意错误实际上告诉你它无法解决该包。

您可能真正想要使用的软件包似乎是com.websudos:phantom-spark，因为这是他们构建Spark支持的内容吗？ Link

%%configure -f
{ "packages":["com.websudos:phantom-spark_2.10:1.8.0"] }

然后你可以导入

import com.websudos.phantom.spark._

但是，如果您想要的是Spark-Cassandra连接器，则datastax connector似乎是要使用的连接器。

我应该说我之前从未使用Spark和Cassandra，所以请按照在线教程了解如何设置它们。

Answer 2

HDInsight网站上的这篇文章可能对您有所帮助： https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-jupyter-notebook-use-external-packages/