将Spark数据框写入三角洲湖泊

时间:2020-02-04 16:40:22

标签: apache-spark pyspark azure-databricks delta delta-lake

我正在尝试使用文档提供的示例代码将Spark数据帧转换为增量格式,但始终会遇到此奇怪的错误。你能帮忙还是指导?

Provider

错误如下:

df_sdf.write.format("delta").save("/mnt/.../delta/")

2 个答案:

答案 0 :(得分:1)

/mnt/.../delta/

不是有效的路径。

答案 1 :(得分:0)

我有同样的错误,问题是我使用的是Spark 3.0 Preview。我不得不将spark版本更改为2.4,问题已解决。