是否可以从Azure数据工厂读取Azure数据表？

Question

我在Azure Databricks群集中有一张表，我想将此数据复制到Azure SQL数据库中，以允许其他用户从Metabase分析此数据。

是否可以通过Azure数据工厂访问databricks表？

Answer 1

不，不幸的是没有。 Databricks表通常是临时的，并且只要您的作业/会话正在运行就可以使用。 See here。

您需要将databricks表保存到某些存储中才能访问它。更改您的databricks作业以将表转储到Blob存储，这是它的最终操作。然后，在数据工厂作业的下一步中，您可以从存储帐户中读取转储的数据并进行进一步处理。

另一个选项可能是databricks delta，尽管我还没有尝试过...

Answer 2

如果将表注册到Databricks配置单元元存储中，则ADF可以使用ADF中的ODBC源从表中读取数据。尽管这需要IR。 或者，您可以将表写入外部存储（例如blob或lake）。然后，ADF可以读取该文件并将其推送到sql数据库。