Question

我需要将数据填充到Google Cloud Bigtable中，数据来源将是Google BigQuery。

作为练习，我能够read the data from BigQuery并且作为一项单独的练习，我能够write data into Bigtable as well。

现在，我必须将这两项操作合并为一个Google Cloud Dataflow作业。任何一个例子都会有很大的帮助。

Answer 1

您可以使用这些示例中显示的转换，添加您需要的任何逻辑，例如：

Pipeline p = Pipeline.create(options);
 .apply(BigQueryIO.Read.from("some_table"))
 .apply(ParDo.of(new DoFn<TableRow, Row>() {
   public void processElement(ProcessContext c) {
     Row output = somehowConvertYourDataToARow(c.element());
     c.output(output);
   }
   })
 .apply(BigtableIO.Write.withTableId("some_other_table");

Answer 2

对于想要将bigquery数据转换为bigtable的人可以参考以下链接

参考：https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/dataflow-connector-examples/src/main/java/com/google/cloud/bigtable/dataflow/example/BigQueryBigtableTransfer.java

如何从Google BigQuery将数据加载到Google Cloud Bigtable中

2 个答案: