通过本地DataFlow作业写入BigQuery

Question

我在我的机器上本地设置了一个DataFlow管道。它需要一个完整的JSON对象的新行分隔文件样本，它的作用是格式化TableRow的最终结果。什么时候写BigQuery，我不知道如何进行身份验证。我在Dataflow的文档或示例中找不到任何内容，其中一个人使用本地管道写入BigQuery。如果可能的话我想知道怎么做。在我看来，它应该是：

...
session_windowed_items.apply(ParDo.of(new FormatAsTableRowFn()))
      .apply(BigQueryIO.Write
      .withCredentials/Token(SOME_TOKEN)  // <- This line
      .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
      .to("project:db.table"));
...

或

...
PipelineOptions options = PipelineOptionsFactory.create();
options.setGoogleCloudCredentials/Token(SOME_TOKEN)  // <- This line
Pipeline p = Pipeline.create(options);
...

Answer 1

你的第二种方法是正确的方法。它看起来像这样：

GcpOptions gcpOptions = options.as(GcpOptions.class);
gcpOptions.setGcpCredential(...);
gcpOptions.setProject(...);
// etc

options.as(SomeSpecificOptions.class)的成语值得记住。

您需要阅读GcpOptions以查看可用的方法。