spark2.xx是否支持三角洲湖泊

Question

所以我正尝试使用delta lake写 df_concat.write.format("delta").mode("overwrite").save("file") it gives me this error：

java.lang.NoClassDefFoundError：org / apache / spark / sql / connector / catalog / TableProvider Delta Lake Doc说更新了spark3，所以只想确认我们是否可以在spark2.xx上运行deltalake

Answer 1

您可以使用Delta release 0.6.1-支持Spark 2.x的最新版本。您至少需要有Spark 2.4.2才能运行它。只需使用--packages io.delta:delta-core_2.11:0.6.1运行代码，或将其链接到应用程序