如何强制Azure数据工厂数据流使用Databricks

时间:2019-05-10 21:55:39

标签: azure-data-factory azure-databricks

我正在使用Azure数据工厂及其新的数据流功能。这是一个GUI,应该使用Databricks进行数据转换,而无需编写任何代码。

到目前为止一切都很好。我有一些例子。我的输入数据(来自Azure Blob)已正确转换并合并以创建输出(在Azure SQL中)。

问题是我没有
Databricks资源。我把它删了。我还删除了Data Factory to Databricks连接器。但是我仍然得到正确的答案!

我怀疑我的输入集太小或转换太简单,因此Data Factory只是在内部处理它们,并且知道它不需要Databricks的功能。但是,我要强制Data Factory使用Databricks怎么办?我想测试一下有关该操作的一些信息。

另一种可能性是数据工厂正在使用
,但是使用其自己的Databricks资源而不是用户来实现。。。

1 个答案:

答案 0 :(得分:2)

Azure数据工厂数据流始终在后台运行的Databricks上运行。您无法强制(或禁用)使用Databricks。

在早期的私人预览中,您必须配置并带来自己的Databricks集群。后来进行了更改,自2019年5月起,Azure Data Factory将为您管理群集。

(我听说他们计划在某个时候重新实现“自带群集”功能,但我没有看到公开证实这一点。)

如果打开“数据流调试模式”或执行带有“数据流”任务的管道,则将按vCore小时每小时的使用费计费。您可以在Data Pipeline Pricing and FAQ中找到所有详细信息。