如何在Azure数据工厂中执行下推优化以实现雪花连接

时间:2020-09-04 10:48:58

标签: azure azure-data-factory snowflake-cloud-data-platform

最近,Microsoft为ADF中的数据流启动了雪花连接。有什么方法可以打开ADF中的下推优化功能,以便如果我的源和目标仅是Snowflake,那么它应该触发雪花查询以执行任务,而不是从雪花环境中提取数据。就像普通的ELT流程而不是ETL。

让我知道是否需要更多说明。

1 个答案:

答案 0 :(得分:0)

据我了解,这里的目的是针对雪花数据向ADF发出查询,以便可以清理数据(或类似数据)。我看到Lookup活动也支持雪花,可能对您有帮助。我对SF的了解有限,但我知道您可以从查找活动中调用proc /查询,这应该会有所帮助。

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-lookup-activity

“ Lookup活动读取并返回配置文件或表的内容。它还返回执行查询或存储过程的结果。Lookup活动的输出可以在后续的复制或转换活动中使用(如果是单例的话)值。如果输出是属性数组,则可以在ForEach活动中使用该输出。”