我目前正在使用Google Cloud Platform在云端运行Spark Jobs。为此,我计划使用Google Cloud Dataproc。
以下是我自动化的工作流程:
我可以使用google apis nodejs client
(http://google.github.io/google-api-nodejs-client/latest/dataproc.html)从我的Google Cloud功能创建群集。但问题是我无法在Dataproc群集查看器上看到此群集,甚至无法使用Gcloud sdk:gcloud dataproc clusters list
。
但是,我可以在Google Api资源管理器上看到我新创建的群集:https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list。
请注意,我正在当前项目中创建我的群集。
在使用gcloud sdk列出时,我怎么可能错误地看不到该群集?
提前感谢您的帮助。
问候。
答案 0 :(得分:3)
我打赌它与" region"领域。开箱即用的Cloud SDK默认为" global"区域[1]。尝试使用带有"main" java.lang.ArrayIndexOutOfBoundsException: 0
at cc.mallet.topics.SimpleLDA.main(SimpleLDA.java:560)
标志的dataproc Cloud SDK命令(例如,--region
)
[1] https://cloud.google.com/dataproc/docs/concepts/regional-endpoints