是否可以自定义Google提供的Cloud Dataflow模板？

Question

我有一个需求，我需要创建一个数据流作业，该作业将通过基于将成为json数据一部分的某些属性过滤消息来将数据从Google PubSub主题传输到BigQuery表。使用Google提供的模板，我可以使用Google提供的“ PubSub to BigQuery”模板，但这不允许过滤数据。

是否可以自定义模板“ PubSub to Bigquery”？如果可以，那么任何有关此操作的链接或示例都将真正有帮助。

Answer 1

所有内容都应在GitHub上发布-随时可以克隆和修改。

模板：

• https://github.com/GoogleCloudPlatform/DataflowTemplates

发布/订阅BQ：

• https://github.com/GoogleCloudPlatform/DataflowTemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/PubSubToBigQuery.java

还请注意，模板支持JS UDF，可用于自定义转换和过滤，而无需修改模板。

例如，此代码提供了转换和过滤功能：

• https://github.com/GoogleCloudPlatform/DataflowTemplates/blob/master/src/test/resources/JavascriptTextTransformerTest/transform.js