Azure数据工厂-从YAML文件中提取值并将其传递给Python活动

时间:2019-07-31 04:06:49

标签: azure azure-data-factory-2

我希望开发一个Azure数据工厂管道,该管道可以解析YAML文件并收集值以传递到后续活动。我希望通过设置变量活动来实现这一目标,但不太确定如何实现。

到目前为止,我所做的是设置一个查找活动,该活动能够如下读取文件,然后执行“设置变量”活动。然后,我希望能够使用设置变量活动来过滤每个键并设置其值。

enter image description here

第一个活动的JSON输出如下所示。

    "count": 5,
    "value": [
        {
            "Prop_0": "base_dir",
            "Prop_1": " /apps/b2b_data_ingestion_fw"
        },
        {
            "Prop_0": "etl_config",
            "Prop_1": " /apps/b2b_datalake/strategic/RPA/cfg/JSON/rpa_consolidated.json"
        },
        {
            "Prop_0": "audit_log_script",
            "Prop_1": " streaming_process.py"
        },
        {
            "Prop_0": "archival_script",
            "Prop_1": " streaming_cleanup.py"
        },
        {
            "Prop_0": "fw_property_file",
            "Prop_1": " config/ingestion_fw.ini"
        }
    ],
    "effectiveIntegrationRuntime": "b2bs2pdev-sh-ir-01"
}

我还要结合一些变量以生成如下所示的python命令行

python /apps/b2b_data_ingestion_fw/ingestion_fw/streaming_process.py /apps/b2b_datalake/strategic/RPA/cfg/JSON/rpa_consolidated.json /apps/b2b_data_ingestion_fw/config/ingestion_fw.ini

0 个答案:

没有答案