有没有办法在Google Dataflow中创建具有数据依赖模式的Bigquery表？

Question

我正在尝试创建一个Bigquery表作为数据流的一部分。示例显示将模式作为TableFieldSchema实例传递。但是，我所拥有的tableschema是依赖于数据的，因此最多可以创建为PCollection＆lt; TableFieldSchema＆gt;中的元素。例如：

PCollection<TableRow> quotes = ...;

  quotes.apply(BigQueryIO.Write
      .named("Write")
      .to("my-project:output.output_table")
      .withSchema(schema)
      .withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE)
   .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED));

此处架构需要是TableFieldSchema，但我将其作为PCollection＆lt; TableFieldSchema＆gt ;.

Answer 1

遗憾的是，我们没有内置的API来写入具有动态架构的BigQuery表。也就是说，我们正在努力提高这一领域的灵活性。目前还没有估计，但我们希望尽快得到这个。

同时，在其他StackOverflow问题上提出了一些解决方法：

• How do I write to BigQuery using a schema computed during Dataflow execution?
• How do I write to BigQuery a schema computed during execution of the same Dataflow pipeline?