在Cloud Data Fusion中加载许多表失败，并显示DAG错误

Question

我有一个包含约1000个表的MS SQL Server数据源，我需要将其放入BigQuery中。我希望使用Data Fusion将它们全部加载到BigQuery的登台表中，然后再对它们执行转换。但是，一旦我创建带有两个“岛”的管道，就会出现DAG错误。这是功能还是我做错的事情？我在文档中找不到任何内容。我的管道如下所示：

当我尝试部署时遇到的错误是：“无效的DAG。有一个由BigTest，BigQuery BigTest阶段组成的孤岛（没有其他阶段与其连接）。”

Answer 1

每个管道都是单个DAG（有向无环图），并且所有源和接收器都应连接，以使配置有效。您可以使用多表源插件，该插件可以一次将多个表带入BQ中的登录表。

您可以将多表插件和BQ多表接收器用于您的用例。