从s3

时间:2019-03-01 09:39:52

标签: apache-spark jar apache-zeppelin

非常简单的目标。将我的自定义/本地jar从s3加载到齐柏林飞艇笔记本(使用AWS EMR中的齐柏林飞艇)。

罐子的位置

s3://my-config-bucket/process_dataloader.jar

zeppelin documentation之后,如下图所示打开解释器,在属性名称中打开spark.jars,其值为s3://my-config-bucket/process_dataloader.jar

enter image description here

我重新启动了解释器,然后在笔记本中尝试使用以下内容导入罐子

import com.org.dataloader.DataLoader

但是会引发以下情况

<console>:23: error: object org is not a member of package com
       import com.org.dataloader.DataLoader 

有解决此问题的建议吗?

1 个答案:

答案 0 :(得分:0)

考虑得有点晚,但对于将来可能需要此功能的其他人,请尝试以下选项,

https://bucket/dev/jars/RedshiftJDBC41-1.2.12.1017.jar"基本上是您的s3对象网址。

%spark.dep
z.reset()
z.load("https://bucket/dev/jars/RedshiftJDBC41-1.2.12.1017.jar")