我正在使用Java + Apache Beam SDK for Java 2.0.1-SNAPSHOT
情景：
从BigQuery（BQ）读取数据 - ＆gt;数据流中的ETL过程 - ＆gt;在BQ表中写入数据
问题是管道在BQ中执行插入之前正试图处理所有数据。
在这种情况下有没有办法执行流插入？我已经尝试在从BQ中提取时为元素设置时间戳，但它没有'工作。
或者是否可以设置 BatchLoads 以便及时插入大量数据？
答案 0 :(得分：0)
我会看看this link to Googles Solution。话虽这么说，BigQuery听起来像是被视为有限的来源，但这不应该是将数据反馈回数据流的问题，请参阅here。