云数据流:使用Google提供的PubSub到具有多个json条目的BigQuery模板

时间:2018-03-16 21:29:24

标签: google-bigquery google-cloud-dataflow google-cloud-pubsub

我使用Google提供的PubSub到BigQuery的模板,没有自定义。我试图将多个条目(行)放入队列中的单个json有效负载中,然后让DataFlow模板将所有条目(行)插入到BigQuery表中。我尝试过提供一个换行符分隔的json有效负载,就像通过控制台将数据加载到BigQuery中一样。但是,我只能将第一个条目插入到表中。

默认的DataFlow模板是仅采用单个条目(行)吗?

1 个答案:

答案 0 :(得分:2)

目前,Google提供的模板仅接受单个JSON记录作为Cloud Pub / Sub消息中的有效内容,并且不会检测任何换行符分隔的JSON。随着将额外支持的格式添加到模板中,请在不久的将来进行更改。