我正在尝试编写一个从bigtable读取数据并将ByteString转换为Genric记录的函数

Question

我试图编写一个BigTableAvroFn函数，该函数读取bigtable行，并使用apache beam将其转换为Avro通用记录。如何将行数据转换为通用记录？

pipeline.apply("Read from Bigtable", read)
    .apply("Transform to Avro", ParDo(new BigtableToAvroFn()));

    return pipeline.run();
}

静态类BigtableToAvroFn扩展       DoFn {

@ProcessElement
public void processElement(ProcessContext c) {
    Row row = c.element();
}

由于我是Apache Beam的初学者，所以我们将不胜感激。

Answer 1

如果您正在从Bigtable读入Avro，也许您可​​以尝试将Google provided Dataflow template用于Bigtable-> Avro，您可以找到源代码here。