QS 1:如何读取包含节点基本属性的配置表/文件{例如:源和接收器表名称等},并在FUSION管道的下一个节点中使用该输出。
试图使用远程程序执行器,命令为-
bq query --format csv 'select SOURCE_TABLE,TASK_ID,DELTA_DATE from FUSIONDATASET.TEST_CONFIG where RUN_STATUS=0'
现在,如何在嵌套管道节点中使用此输出,例如源bigQuery节点的TABLE属性中的SOURCE_TABLE col
答案 0 :(得分:0)
您可以使用动作插件来设置可以在管道的任何后续阶段中使用的运行时参数。
作为示例,您可以引用参数设置器插件,该插件读取一组配置并将这些配置设置为运行时参数。 https://github.com/data-integrations/argument-setter/
具体来说,https://github.com/data-integrations/argument-setter/blob/develop/src/main/java/io/cdap/plugin/ArgumentSetter.java#L77行设置了运行时参数的键和值。