使用Apache Beam将结果列添加到现有BigQuery表

Question

我想添加一些列，这些列是BigQuery中两个现有列的结果。我正在使用Apache Beam从BigQuery读取，然后处理它并将结果更新为与新列相同的BigQuery表。

Answer 1

Beam BigQuery连接器显式支持BigQuery DML，但是您可以编写管道以将处理结果插入到单独的表中，并在管道运行后运行DML使用该辅助表更新原始表中的列的语句。

或者，如果您的处理逻辑可以用SQL表示，那么在不使用管道的情况下将其实现为SQL DML语句可能会更好。