使用Python的AzureDataFactory增量加载

Question

如何使用python创建azure数据工厂以增加负载？ 在创建活动或管道时我应该在哪里提到文件加载选项（Incremental Load：LastModifiedOn）？

我们可以通过选择“文件加载选项”来使用UI进行操作。但是如何使用python实用地做同样的事情？

用于datafactory的python api是否支持？

Answer 1

根据此blog，您只能通过设置modifiedDatetimeStart和modifiedDatetimeEnd属性来从ADF SDK获得增量加载功能。

您可以在azure_blob_dataset类的additional_properties中设置以上属性。

Answer 2

我的调查表明，Python SDK尚未实现此功能。我使用SDK连接到现有实例，并获取了两个示例数据集。我没有发现任何看起来像“上次修改日期”的东西。我尝试了dataset.serialize()，dataset.__dict__，dataset.properties.__dict__。我也尝试过.__slots__。

尝试serialize()很重要，因为在GUI中生成的JSON和Python生成的JSON之间应该保持奇偶校验。缺乏奇偶性表明SDK版本落后于GUI版本。

更新：产品组正在解决此问题。将在此处编辑更多信息。