在数据融合中从PubSub提取数据的管道中使用Wrangler转换

时间:2020-07-14 20:13:47

标签: publish-subscribe cdap

我目前正在开发一个从PubSub订阅中提取数据的管道,在从订阅中读取消息后,我使用Projection插件将其转换为UTF-8,以便我可以读取内容,之后我应用了一些内容指令使用来自平面文件的wrangler转换作为源(由于wrangler中没有pubsub选项,因此我只是手动创建了要转换的内容并在wrangler中读取文件的文件),这些指令如下:

parse-as-json :body 1
parse-as-json :body_attributes 1
parse-as-json :body_attributes_key 1
find-and-replace body_message s/,/}, {/g
parse-as-csv :body_message ',' false
drop body_message
parse-as-json :body_message_1 1
parse-as-json :body_message_2 1
parse-as-json :body_message_3 1
parse-as-json :body_message_4 1
parse-as-json :body_message_5 1
parse-as-json :body_message_6 1
parse-as-json :body_message_7 1
parse-as-json :body_message_8 1
parse-as-json :body_message_9 1
parse-as-json :body_message_10 1

一旦我尝试预览不显示任何内容的管道,我已经尝试更改指令中的列名,但结果仍然相同。

我在做什么错了?

谢谢。

0 个答案:

没有答案