如何将行从bigtable转换为Avro通用记录

时间:2019-01-09 02:22:28

标签: google-cloud-platform google-cloud-dataflow apache-beam google-cloud-bigtable

我正在读取我的Pcollection中的bigtable,然后尝试将读取的记录转换为Avro通用记录。是否可以将大表中的读取内容直接更改为通用记录,而无需在pCollection中编写任何函数?

例如:我正在尝试执行以下

 pipeline
    .apply("Read from Bigtable", read)
    .apply("Transform to generic records using Avro.IO", AvroIO.<<>> 
     (read));

1 个答案:

答案 0 :(得分:0)

要使用Generic Records来编写AvroIO,您需要提供一个Avro Schema,我认为它与BigtableIO的输出不兼容,因此如果没有,则无法实现BigtableIO和AvroIO之间的转换。