在EMR笔记本中添加外部罐子

Question

我使用连接到EMR群集的EMR笔记本。内核是Spark，语言是Scala。我需要一些位于S3存储桶中的罐子。 如何添加罐子？

在“火花壳”的情况下很容易：

  

spark-shell --jars“ s3：//some/path/file.jar，s3：//some/path/faile2.jar”

我也可以在scala控制台中完成

  

：需要s3：//some/path/file.jar

Answer 1

启动笔记本电脑后，可以在一个单元格中执行此操作：

%%configure -f
{
"conf": {"spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3"},

"jars": [
        "//path to external downloaded jars"
    ],

}

Answer 2

只需将其放在您的第一段中即可

%%configure -f
{
    "conf": {
        "spark.jars": "s3://YOUR_BUCKET/YOUR_DRIVER.jar"
    }
}