我已使用如下所示的安装路径在Azure DataBrick中创建了一个非托管表:
CREATE TABLE <Table-Name> using org.apache.spark.sql.parquet OPTIONS (path "/mnt/<folder>/<subfolder>/")
安装路径的来源是存储在ADLS Gen2中的镶木地板文件。 我看到基础数据是否在ADLS Gen 2 Blob存储路径中更改,但未反映在ADB中创建的非托管表中。该ADB表仍保留创建表时Blob存储中可用的数据 有什么方法可以将Blob存储中的最新数据放入ADB的表中?
答案 0 :(得分:0)
有很多建议使用的人,
REFRESH TABLE <table-name>
https://docs.databricks.com/data/tables.html#update-a-table
但这对我没有用。
下面认为它有用。
yourdataframe.write.mode("overwrite").saveAsTable("test_table")