想要在ADF管道中获取databricks活动的输出,以便我可以在以后的ADF Activity中使用这些输出参数

时间:2019-11-22 12:42:09

标签: azure-data-factory azure-data-factory-2 azure-databricks

我正在ADF中使用数据砖活动,我想在进一步的活动中获得运行输出,就像我在数据砖中使用一个文件以获取列中的所有日期一样,现在我希望将所有这些天作为数据工厂参数的输出,以便我可以将这些天作为预复制脚本中的参数来删除特定日期的数据。

2 个答案:

答案 0 :(得分:1)

如果您要传递的参数很小,则可以使用:dbutils.notebook.exit("returnValue")(请参见此link)。

对于更大的一组输入,我会将Databricks的输入值写入文件,并在ADF中的不同值上进行迭代(ForEach)。

答案 1 :(得分:1)

另一种选择是将日期列表作为json字符串返回,然后使用该列表:

import json

dates = ['2017-12-11', '2017-12-10', '2017-12-09', '2017-12-08', '2017-12-07']
return_json = json.dumps(dates)

dbutils.notebook.exit(return_json)

然后,您可以使用foreach Activity对输出进行操作,也可以使用Append Variable Set Variable活动进行其他处理

希望这会有所帮助