在Scio Spotify中使用ContextAndArgs创建scioContext时要作为参数传递的内容

时间:2018-10-10 06:20:17

标签: google-cloud-dataflow apache-beam spotify-scio

我是Scio的新手,正在尝试进一步了解它。 我在Scio源代码中看到了一些示例,并希望运行它。但是它要求我不知道并且在文档中未指定的一些论点。

 val (sc, args) = ContextAndArgs(cmdlineArgs)

对于这部分代码,我需要传递一些参数,但我不知道确切需要什么以及采用什么格式。 另外,如果我未在系统中安装gsutil,如何将Google Cloud Credential直接传递给代码?

1 个答案:

答案 0 :(得分:0)

GCP凭证是GcpOptions的一部分,该凭证扩展了PipelineOptions,这是Beam处理命令行选项的方式。因此,在这种情况下,您将传递--gcpCredentailhttps://beam.apache.org/releases/javadoc/2.7.0/org/apache/beam/sdk/extensions/gcp/options/GcpOptions.html

还有其他方法,例如将gcloud SDK配置为使用用户的默认凭据,或通过环境变量使用JSON机密文件。 https://github.com/spotify/scio/wiki/FAQ#how-do-i-fix-invalid-default-bigquery-credentials