GCP数据融合多表导入

时间:2020-10-15 09:22:52

标签: google-cloud-platform google-cloud-data-fusion cdap

我正在尝试使用多个数据库表和BigQuery多表数据融合插件在一个管道中导入多个表

Pipeline

但是当我尝试执行时,出现以下错误

java.util.concurrent.ExecutionException: java.lang.IllegalArgumentException: BigQuery Multi Table has no outputs. Please check that the sink calls addOutput at some point.

我使用的是Data Fusion版本6.1.4的多数据库表版本1.2.0和BigQuery的多表版本0.14.8。

关于可能是什么问题的任何建议?

编辑:

遵循多表数据库源的配置

{
            "name": "Multiple Database Tables",
            "plugin": {
                "name": "MultiTableDatabase",
                "type": "batchsource",
                "label": "Multiple Database Tables",
                "artifact": {
                    "name": "multi-table-plugins",
                    "version": "1.2.0",
                    "scope": "USER"
                },
                "properties": {
                    "splitsPerTable": "1",
                    "referenceName": "multiTable",
                    "connectionString": "${secure(connection)}",
                    "jdbcPluginName": "netezza",
                    "user": "${secure(username)}",
                    "password": "${secure(password)}",
                    "whiteList": "categoria_l,cliente_l,regione_l"
                }
            },
            "outputSchema": [
                {
                    "name": "etlSchemaBody",
                    "schema": ""
                }
            ]
        },

经过进一步测试后,问题在于源响应为空,因为数据融合不是从源数据库中读取视图,而是仅从表中读取视图

1 个答案:

答案 0 :(得分:2)

似乎Multiple Database Tables 没有产生任何记录(“输出0”)。我先去那儿检查。您可以使用“预览”模式进行快速检查。插件文档here

相关答案here