使用Kafka Connect GCP BigQuery Sink连接器进行表分区

Question

伙计，

我在BigQuery中使用融合连接器进行数据传输。对于每个事件，我都创建了一个Avro模式，该模式将在BigQuery中进行解释。是否可以将任何事件字段定义为表分区？

它当前正在使用_PARTITIONTIME隐藏字段，但我需要将其用作实际事件的字段，例如，以便于处理重复项。

Answer 1

您可以partition by one of your Date or Timestamp columns。另外，integer range partitioned tables有一个Beta功能，可以按整数列进行分区。