如何在Dataflow作业中设置服务帐户

Question

需要在Dataflow程序中设置服务帐户，该程序可以从订户中提取消息并进行数据转换，最后存储在BigQuery表中。

方法：

bins = [0.0, 0.2, 0.5, 0.7, 0.9, 1.0]    
labels = ["bad", "kinda bad", "average", "kinda good", "good"]    
pd.cut(df.ratio_usage, bins=bins, labels=labels)

0           bad
1    kinda good
2       average
3       average
4     kinda bad

找不到正确的范围。感谢您对代码的帮助，并使用凭据设置调用Dataflow作业。

Answer 1

这是触发从Java API到GCP平台的数据流作业的代码。

范围代码：

final List<String> SCOPES = Arrays.asList(
        "https://www.googleapis.com/auth/cloud-platform",
          "https://www.googleapis.com/auth/devstorage.full_control",
          "https://www.googleapis.com/auth/userinfo.email",
          "https://www.googleapis.com/auth/datastore",
          "https://www.googleapis.com/auth/pubsub");

DataflowpipelineOptions代码：

options.setGcpCredential(ServiceAccountCredentials.fromStream(
                    new FileInputStream("abc.json")).createScoped(SCOPES));

Answer 2

不确定您要从何处提取数据，但这是Google产品https://developers.google.com/identity/protocols/googlescopes

的可用范围的列表。