通过HTTP创建但未在SDK或查看器

时间:2017-07-05 09:41:51

标签: google-cloud-platform google-cloud-storage google-cloud-dataproc

我目前正在使用Google Cloud Platform在云端运行Spark Jobs。为此,我计划使用Google Cloud Dataproc。

以下是我自动化的工作流程:

  • 在Google云端存储上传一个csv文件,该文件将成为我的Spark工作的输入
  • 在上传时,触发应创建群集的Google Cloud Functions,提交作业并通过Dataproc可用的HTTP API关闭群集

我可以使用google apis nodejs clienthttp://google.github.io/google-api-nodejs-client/latest/dataproc.html)从我的Google Cloud功能创建群集。但问题是我无法在Dataproc群集查看器上看到此群集,甚至无法使用Gcloud sdk:gcloud dataproc clusters list

但是,我可以在Google Api资源管理器上看到我新创建的群集:https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list

请注意,我正在当前项目中创建我的群集。

在使用gcloud sdk列出时,我怎么可能错误地看不到该群集?

提前感谢您的帮助。

问候。

1 个答案:

答案 0 :(得分:3)

我打赌它与" region"领域。开箱即用的Cloud SDK默认为" global"区域[1]。尝试使用带有"main" java.lang.ArrayIndexOutOfBoundsException: 0 at cc.mallet.topics.SimpleLDA.main(SimpleLDA.java:560)标志的dataproc Cloud SDK命令(例如,--region

[1] https://cloud.google.com/dataproc/docs/concepts/regional-endpoints