这是关于从Zeppelin笔记本运行Spark / Scala。
为了更好地模块化和重组代码,我需要将现有的Scala类,包或函数导入笔记本中,最好跳过创建jar文件的过程(与PySpark中的过程几乎相同)。
类似的东西:
import myclass
其中“ myclass”在.scala文件中实现。此源代码可能需要驻留在Zeppelin的特定位置。
答案 0 :(得分:0)
目前,齐柏林飞艇没有这种功能。
答案 1 :(得分:0)
执行建议操作的唯一方法是向Spark的类路径jar中添加jar
。至少,这就是我的使用方式。
我不建议从.scala
文件中的某处导入scala类的做法。该代码应打包并提供给所有工作人员,例如所有集群工作人员和主工作人员。