我是Scio的新手,正在尝试进一步了解它。 我在Scio源代码中看到了一些示例,并希望运行它。但是它要求我不知道并且在文档中未指定的一些论点。
val (sc, args) = ContextAndArgs(cmdlineArgs)
对于这部分代码,我需要传递一些参数,但我不知道确切需要什么以及采用什么格式。 另外,如果我未在系统中安装gsutil,如何将Google Cloud Credential直接传递给代码?
答案 0 :(得分:0)
GCP凭证是GcpOptions
的一部分,该凭证扩展了PipelineOptions
,这是Beam处理命令行选项的方式。因此,在这种情况下,您将传递--gcpCredentail
。
https://beam.apache.org/releases/javadoc/2.7.0/org/apache/beam/sdk/extensions/gcp/options/GcpOptions.html
还有其他方法,例如将gcloud
SDK配置为使用用户的默认凭据,或通过环境变量使用JSON机密文件。
https://github.com/spotify/scio/wiki/FAQ#how-do-i-fix-invalid-default-bigquery-credentials