使用Google Cloud Data Fusion执行自定义SQL查询

Question

我具有由针对BigQuery表运行的多个SQL查询组成的数据管道，我想在Google Cloud Fusion中构建这些管道，但是我看不到使用自定义SQL进行转换/选择的选项。

这是可用的，还是我误解了此工具的用例？

Answer 1

现在有一个本机的BigQuery Execute操作，该操作允许SQL查询作为数据融合管道的一部分运行。

此工作是一项操作，请参见official documentation的下方内容：

动作插件定义了计划执行的自定义动作 在工作流程中，但不要直接在工作流程中操作数据。 例如，使用数据库自​​定义操作，您可以运行 管道末尾的任意数据库命令。或者， 您可以触发操作以在Cloud Storage中移动文件。

Answer 2

正在添加一个新的Action插件，该插件可让您指定要在BQ中运行的SQL。预计连接器将在五月中旬在Hub上提供。

尼丁