Apache Beam有一个DynamicDestinations!适用于BigQueryIO。
BigtableIO是否有相同的实现或解决方法?
events.apply(BigTableIO.<UserEvent>write()
.to(new DynamicDestinations<UserEvent, String>() {
...
...
答案 0 :(得分:2)
我会说不,因为BigQuery和BigTable的加载模式不同。
实际上,使用BigQuery,您可以导入数据块(按文件分组),然后将其加载到其他表中。动态目标正是这样做的:将数据按正确的块进行路由,然后加载到BigQuery中。
但是,对于BigTable,这种负载不存在。因此,无法应用相同的逻辑。
作为解决方法,您可以根据数据值将自己写入BigTable或写入文件,然后将另一个数据流发送到load data from Storage to BigTable (Dataflow template exists for this)