Question

我正在使用HDInishgt Spark 2.1，在我的Jupyter笔记本中，我想加载多个spark包。

 %%configure -f
    { "conf": {"spark.jars.packages": "com.databricks:spark-avro_2.11:3.2.0"}}

但是当我尝试做的时候

 %%configure -f
    { "conf": {"spark.jars.packages": "com.microsoft.azure.cosmosdb.spark,com.databricks:spark-avro_2.11:3.2.0"}}

OR

{ "conf": {"spark.jars.packages": ["com.databricks:spark-avro_2.11:3.2.0","com.microsoft.azure.cosmosdb.spark"] 
}}

我收到错误。我究竟做错了什么？

Answer 1

最新答复，但希望仍然有帮助：

%%configure -f
{ "conf":  { "spark.jars.packages": "com.databricks:spark-avro_2.11:3.2.0,com.microsoft.azure:azure-cosmosdb-spark_2.3.0_2.11:1.2.2"} }

您还可以通过以下方式添加存储库：

%%configure -f
{ "conf":  { "spark.jars.packages": "com.databricks:spark-avro_2.11:3.2.0,com.microsoft.azure:azure-cosmosdb-spark_2.3.0_2.11:1.2.2", "spark.jars.repositories": "http://nexus.internal/repository/maven-public/"} }

Answer 2

试试这个

%%configure -f
{ "conf": {"spark.jars.packages": [ "com.databricks:spark-avro_2.11:3.2.0", "com.microsoft.azure.cosmosdb.spark" ] } }

如何使用多个包配置Jupyter％configure？

2 个答案: