在Zeppelin导入scala程序包(无jar)

时间:2018-07-13 18:18:13

标签: scala apache-spark apache-zeppelin

这是关于从Zeppelin笔记本运行Spark / Scala。

为了更好地模块化和重组代码,我需要将现有的Scala类,包或函数导入笔记本中,最好跳过创建jar文件的过程(与PySpark中的过程几乎相同)。

类似的东西:

import myclass

其中“ myclass”在.scala文件中实现。此源代码可能需要驻留在Zeppelin的特定位置。

2 个答案:

答案 0 :(得分:0)

目前,齐柏林飞艇没有这种功能。

答案 1 :(得分:0)

执行建议操作的唯一方法是向Spark的类路径jar中添加jar。至少,这就是我的使用方式。

我不建议从.scala文件中的某处导入scala类的做法。该代码应打包并提供给所有工作人员,例如所有集群工作人员和主工作人员。