我正在使用BigqueryIO.write()。to(new DynamicDestination)。带成帧插入

时间:2019-08-26 18:39:09

标签: apache insert google-bigquery

我正在使用

 BigQueryIO.<Map<String, String>>write().withMethod(BigQueryIO.Write.Method.STREAMING_INSERTS)
                        .withCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
                        .withFailedInsertRetryPolicy(InsertRetryPolicy.neverRetry())
                        .withWriteDisposition(WriteDisposition.WRITE_APPEND)

文档中显示了其中流式插入正在使记录在内部复制而不受我控制的情况。
搜索之后,我发现我应该明确指定可以避免重复的插入ID

但是我无法弄清楚我可以在哪里提供insertId

注意:-我不能使用BigQueryIO.Write.Method.FILE_LOAD bcz,我需要使用获取失败的插入内容。

0 个答案:

没有答案