尝试将Google Cloud的最新插件上传到Data Fusion,但上传时出错

时间:2019-09-18 13:22:52

标签: maven google-cloud-data-fusion cdap

参考我之前的这篇文章:Possible to modify or delete rows from a table in BigQuery dataset with a Cloud Data Fusion pipeline?我正在尝试提出建议的答案,以编译最新版本的Google Cloud Platform插件并上传到Data Fusion,以便我可以使用最新功能。

我们已经下载了代码,对其进行了编译,并获得了2个文件:

  • google-cloud-0.13.0-SNAPSHOT.jar
  • google-cloud-0.13.0-SNAPSHOT.json

在JSON文件中,父工件的最后几行是:

  },
  "parents": [
    "system:cdap-data-pipeline[6.1.0-SNAPSHOT,7.0.0-SNAPSHOT)",
    "system:cdap-data-streams[6.1.0-SNAPSHOT,7.0.0-SNAPSHOT)"
  ]
}

最初,我去了Data Fusion并选择上传一个新插件,但是我得到了关于父构件不存在的错误。因此,我进行了一些挖掘,发现当前在Data Fusion上使用的工件的版本为6.0.1: enter image description here

因此我将父工件修改为正确的版本,现在JSON文件中的最后几行显示:

  },
  "parents": [
    "system:cdap-data-pipeline[6.0.1-SNAPSHOT,7.0.0-SNAPSHOT)",
    "system:cdap-data-streams[6.0.1-SNAPSHOT,7.0.0-SNAPSHOT)"
  ]
}

当我尝试再次上传插件时,它似乎通过了工件检查步骤,但是在某种类检查中却失败了,我在上传屏幕上看到了这一点: enter image description here

  

在检查插件的工件时找不到类。请   检查依赖项是否可用,以及正确的父工件   已指定。错误类别:类别java.lang.NoClassDefFoundError,   消息:io / cdap / cdap / etl / api / validation / ValidationException。

所以现在我真的对这里出了什么问题迷失了。我怀疑Data Fusion中使用的工件版本是否没有引发错误的类?如果是这样,我该如何更新工件本身?

或者,如果我在整个过程中还缺少其他内容,那么我将非常感谢您对此提供的任何指导或支持! 问候

1 个答案:

答案 0 :(得分:0)

您可以尝试使用google-cloud插件存储库的release / 0.12分支。这与Cloud Data Fusion 6.0版兼容。