从PubSub摄取CDAP

时间:2019-07-27 16:52:17

标签: google-cloud-platform publish-subscribe google-cloud-pubsub google-cloud-data-fusion cdap

我正在尝试将PubSub消息中的数据加载到GCS文件中。 简单的管道:PubSub源-> JSON解析器-> GCS接收器。

由于PubSub仅接受数据参数为utf-8,因此如何在CDAP中对其进行解码? 我应该构建一个实现解码功能的自定义插件,还是最好使用PuSub消息中的属性而不是'data'将数据作为字符串传递?

1 个答案:

答案 0 :(得分:0)

我使用Projector插件而不是PubSub源和GCS接收器之间的JSON解析器解决了此问题。 投影仪将PubSub源的字节消息属性强制转换为字符串(纯文本)。