我正在使用Azure数据工厂及其新的数据流功能。这是一个GUI,应该使用Databricks进行数据转换,而无需编写任何代码。
到目前为止一切都很好。我有一些例子。我的输入数据(来自Azure Blob)已正确转换并合并以创建输出(在Azure SQL中)。
问题是我没有
Databricks资源。我把它删了。我还删除了Data Factory to Databricks连接器。但是我仍然得到正确的答案!
我怀疑我的输入集太小或转换太简单,因此Data Factory只是在内部处理它们,并且知道它不需要Databricks的功能。但是,我要强制Data Factory使用Databricks怎么办?我想测试一下有关该操作的一些信息。
另一种可能性是数据工厂正在使用,但是使用其自己的Databricks资源而不是用户来实现。。。
答案 0 :(得分:2)
Azure数据工厂数据流始终在后台运行的Databricks上运行。您无法强制(或禁用)使用Databricks。
在早期的私人预览中,您必须配置并带来自己的Databricks集群。后来进行了更改,自2019年5月起,Azure Data Factory将为您管理群集。
(我听说他们计划在某个时候重新实现“自带群集”功能,但我没有看到公开证实这一点。)
如果打开“数据流调试模式”或执行带有“数据流”任务的管道,则将按vCore小时每小时的使用费计费。您可以在Data Pipeline Pricing and FAQ中找到所有详细信息。