我希望开发一个Azure数据工厂管道,该管道可以解析YAML文件并收集值以传递到后续活动。我希望通过设置变量活动来实现这一目标,但不太确定如何实现。
到目前为止,我所做的是设置一个查找活动,该活动能够如下读取文件,然后执行“设置变量”活动。然后,我希望能够使用设置变量活动来过滤每个键并设置其值。
第一个活动的JSON输出如下所示。
"count": 5,
"value": [
{
"Prop_0": "base_dir",
"Prop_1": " /apps/b2b_data_ingestion_fw"
},
{
"Prop_0": "etl_config",
"Prop_1": " /apps/b2b_datalake/strategic/RPA/cfg/JSON/rpa_consolidated.json"
},
{
"Prop_0": "audit_log_script",
"Prop_1": " streaming_process.py"
},
{
"Prop_0": "archival_script",
"Prop_1": " streaming_cleanup.py"
},
{
"Prop_0": "fw_property_file",
"Prop_1": " config/ingestion_fw.ini"
}
],
"effectiveIntegrationRuntime": "b2bs2pdev-sh-ir-01"
}
我还要结合一些变量以生成如下所示的python命令行
python /apps/b2b_data_ingestion_fw/ingestion_fw/streaming_process.py /apps/b2b_datalake/strategic/RPA/cfg/JSON/rpa_consolidated.json /apps/b2b_data_ingestion_fw/config/ingestion_fw.ini