如何在Zeppelin笔记本电脑和pyspark中导入Delta Lake模块？

Question

我试图在带有pyspark的Zeppelin笔记本中使用Delta Lake，似乎无法成功导入模块。例如

%pyspark
from delta.tables import *

它失败并出现以下错误：

  

ModuleNotFoundError：没有名为“ delta”的模块

但是，使用delta格式保存/读取数据帧没有问题。如果使用scala spark %spark

，则模块可以成功加载

有什么方法可以使用齐柏林飞艇和pyspark的三角洲湖吗？

Answer 1

最终设法将其加载到齐柏林飞艇pyspark上。必须明确包含jar文件

%pyspark
sc.addPyFile("**LOCATION_OF_DELTA_LAKE_JAR_FILE**")
from delta.tables import *