如何使用dataflowsdk将数据从bigquery转录到bigquery？

Question

在构建一个源代码为BigQueryIO.Read的管道时，你会得到一组TableRow对象。

我基本上想对这些TableRow对象进行一些小的更改，然后使用BigQueryIO.Write将对象输出到新表。

但是，我遇到了TableRow实际上与原始表结构不匹配的问题，即。它有键＆＃34; _＆＃34;在他们而不是＆＃34;。＆＃34;，并且也是完全平坦的。 （因此与原始模式不匹配）。

是否缺少一个可以使TableRow正常运行的步骤？
这似乎是一个相当简单的工作流程，所以当我遇到这个打嗝时我有点意外。

目标： BigQueryIO.Read -> TableRow -> BigQueryIO.Write

Answer 1

您可以通过指定.withoutResultFlattening()

来避免展平TableRow

作为旁白和一点上下文，扁平化和下划线作为分隔符的选择都由BigQuery完成，并由查询选项控制。