Question

我试图按照以下示例进行操作：

https://github.com/GoogleCloudPlatform/solutions-google-compute-engine-cluster-for-hadoop

https://www.youtube.com/watch?v=se9vV8eIZME

当我到达命令启动集群时：

./compute_cluster_for_hadoop.py start cosightio cosightio-hadoop-sample 97

我收到以下错误：

Traceback (most recent call last):
  File "./compute_cluster_for_hadoop.py", line 230, in <module>
    main()
  File "./compute_cluster_for_hadoop.py", line 226, in main
    ComputeClusterForHadoop().ParseArgumentsAndExecute(sys.argv[1:])
  File "./compute_cluster_for_hadoop.py", line 222, in ParseArgumentsAndExecute
    params.handler(params)
  File "./compute_cluster_for_hadoop.py", line 41, in Start
    gce_cluster.GceCluster(flags).StartCluster()
  File "/Users/dsinha/Dropbox/code/solutions-google-compute-engine-cluster-for-hadoop/gce_cluster.py", line 380, in StartCluster
    self._StartInstance(self._WorkerName(i), role='worker')
  File "/Users/dsinha/Dropbox/code/solutions-google-compute-engine-cluster-for-hadoop/gce_cluster.py", line 210, in _StartInstance
    self._WaitForDiskReady(data_disk_name)
  File "/Users/dsinha/Dropbox/code/solutions-google-compute-engine-cluster-for-hadoop/gce_cluster.py", line 179, in _WaitForDiskReady
    'Persistent disk %s creation timed out.' % disk_name)
gce_cluster.ClusterSetUpError: Persistent disk hw-009-data creation timed out.

当我在asia-east1-c上尝试这个时，它常常被卡住创建第8个实例，当我将其更改回us-central1-a时，它会卡在9中。

如何进一步调试？谢谢！

编辑：刚刚意识到我的配额仍处于违约状态，所以想知道它们是否会导致问题？我认为该示例有100台机器，每台机器都有500 GB的磁盘，所以我可能需要增加配额：

CPUs    0   24
Total persistent disk reserved (GB) 200 5,120

分别为100和100,000？现在尝试一下......

Answer 1

默认情况下，在线结算项目（使用资源的付款方式，通常是信用卡）quotas。

您描述的方案肯定会达到核心配额限制，默认情况下为24（截至撰写本文时）。为了部署如此庞大的集群，必须提交配额增加请求，请记住，在采取行动之前需要审查大量增加请求，通过quota increase request form为增加提供“真正的”理由。

GCE + Hadoop：无法在超过9台机器上创建磁盘

1 个答案: