Bigtable IO连接器是否有Apache Beam DynamicDestinations?

时间:2019-10-07 09:05:25

标签: google-cloud-platform apache-beam dataflow bigtable beam

Apache Beam有一个DynamicDestinations!适用于BigQueryIO。

BigtableIO是否有相同的实现或解决方法?

events.apply(BigTableIO.<UserEvent>write()
  .to(new DynamicDestinations<UserEvent, String>() {
...
...

1 个答案:

答案 0 :(得分:2)

我会说不,因为BigQuery和BigTable的加载模式不同。

实际上,使用BigQuery,您可以导入数据块(按文件分组),然后将其加载到其他表中。动态目标正是这样做的:将数据按正确的块进行路由,然后加载到BigQuery中。

但是,对于BigTable,这种负载不存在。因此,无法应用相同的逻辑。

作为解决方法,您可以根据数据值将自己写入BigTable或写入文件,然后将另一个数据流发送到load data from Storage to BigTable (Dataflow template exists for this)