最近,Microsoft为ADF中的数据流启动了雪花连接。有什么方法可以打开ADF中的下推优化功能,以便如果我的源和目标仅是Snowflake,那么它应该触发雪花查询以执行任务,而不是从雪花环境中提取数据。就像普通的ELT流程而不是ETL。
让我知道是否需要更多说明。
答案 0 :(得分:0)
据我了解,这里的目的是针对雪花数据向ADF发出查询,以便可以清理数据(或类似数据)。我看到Lookup活动也支持雪花,可能对您有帮助。我对SF的了解有限,但我知道您可以从查找活动中调用proc /查询,这应该会有所帮助。
https://docs.microsoft.com/en-us/azure/data-factory/control-flow-lookup-activity
“ Lookup活动读取并返回配置文件或表的内容。它还返回执行查询或存储过程的结果。Lookup活动的输出可以在后续的复制或转换活动中使用(如果是单例的话)值。如果输出是属性数组,则可以在ForEach活动中使用该输出。”