使用参数设置器进行数据融合中的宏

Question

通过提供参数值来使用参数设置器，我想使Datafusion管道可恢复使用。正如许多其他答案所说的那样，尝试使用Google指南中提供的可重用云管道示例来实现。我无法传递参数Json文件，因此如何为存储在Google存储中的参数Json文件创建API。传递给参数设置器的值，例如URL，请求响应等（如果您的任何一个已在项目中实现）。

谢谢。

Answer 1

ArgumentSetter插件从HTTP端点读取，并且必须GCP documentation中所述，它必须是可公开访问的。当前，尚无从GCS中存储的非公开文件中读取内容的方法。为了通过this ticket将其改进为CDAP，已报告了此行为。

Answer 2

能否请您提供您到目前为止所做的尝试以及遇到的困难？

参数设置器中的URL字段将包含您要调用的API端点。确保您包括呼叫需要的任何标题，例如授权，接受等。

如果参数设置器遇到问题，最好使用Curl或任何其他工具来确保您能够与要使用的端点进行通信。

以下是有关参数设置器的一些文档：https://github.com/data-integrations/argument-setter

Answer 3

使用适当的名称/值对定义JSON文件。将其上传到GCS存储桶中-通过更改权限使其公开（在权限列表中添加“ allUsers”）。保存后，文件将显示“ Public to Internet” 将 https 路径复制到文件，然后在Arguments Setter中使用它。如果您能够从curl /浏览器访问此路径，则“参数设置器”也将能够执行此操作。

在使用Argument Setter时，我还遇到了其他问题-管道不会多次替代运行时参数，而不会多次替换URL中提供的默认值，尤其是当管道被复制时。

To make file public