基于源数据集有效负载的Azure Data Factory动态输出路径

Question

我有一个流分析工作，该工作会不断地将数据转储到Cosmos DB中。有效负载具有属性“ Type”，该属性确定有效负载本身。即有效负载中包括哪些列。它是1或2的整数。

我正在使用Azure Data Factory V2将数据从Cosmos DB复制到Data Lake。我已经创建了一个执行此工作的活动管道。我使用以下命令设置输出路径文件夹名称：

@concat('datafactoryingress/rawdata/',dataset().productFilter,'/',formatDateTime(utcnow(),'yyyy'),'/')

我在数据工厂中想要的是识别有效载荷本身，即确定类型是1还是2，然后确定数据是否进入文件夹1或文件夹2。我想迭代Cosmos DB中的数据并确定邮件类型并根据邮件类型进行隔离，并动态设置文件夹路径。

有没有办法做到这一点？我可以检查Cosmos DB文档以找出消息类型，然后如何基于该消息动态设置文件夹路径？

Answer 1

  

有没有办法做到这一点？我可以检查Cosmos DB文档以查找   邮件类型，然后如何动态设置文件夹路径   基于此？

不幸的是，基于doc，到目前为止，adf不支持源数据集中的动态内容。您不能将源数据中的字段用作接收器输出动态参数。根据您的情况，建议您建立两个单独的管道，分别根据Type字段传输数据。

如果Type字段不同，并且您确实想区分输出路径，则ADF可能不是您的合适选择。您可以编写逻辑代码来满足您的需求。

希望它对您有帮助。