从ADLS Gen 2 Blob存储获取最新数据到Azure DataBricks中装入的表

时间:2020-05-21 20:14:49

标签: azure-blob-storage azure-databricks azure-data-lake-gen2

我已使用如下所示的安装路径在Azure DataBrick中创建了一个非托管表:

CREATE TABLE <Table-Name> using org.apache.spark.sql.parquet OPTIONS (path "/mnt/<folder>/<subfolder>/")

安装路径的来源是存储在ADLS Gen2中的镶木地板文件。 我看到基础数据是否在ADLS Gen 2 Blob存储路径中更改,但未反映在ADB中创建的非托管表中。该ADB表仍保留创建表时Blob存储中可用的数据 有什么方法可以将Blob存储中的最新数据放入ADB的表中?

1 个答案:

答案 0 :(得分:0)

有很多建议使用的人,

   REFRESH TABLE <table-name>

https://docs.databricks.com/data/tables.html#update-a-table

但这对我没有用。

下面认为它有用。

yourdataframe.write.mode("overwrite").saveAsTable("test_table")