我一直在尝试使用Web UI和以下命令创建新群集:
gcloud dataproc clusters create cluster-2 --zone europe-west1-b --master-machine-type n1-standard-1 --master-boot-disk-size 50 --num-workers 2 --worker-machine-type n1-standard-1 --worker-boot-disk-size 50 --project <project-name>
群集由一个主节点和两个工作节点组成,它是一个非常小的集群。虚拟机已生成并正在正常运行。但是,群集生成失败。
群集生成期间显示的错误消息指向文件“dataproc-startup-script_output”。我发现的唯一错误消息是该文件中的Error: "--max_wait_seconds" does not look like a port
。
我拥有的虚拟机数量为5.可以创建单台机器并成功运行。在最近(几天前),我能够创建一个没有问题的集群。现在删除了该群集。一个人可以创建多少个集群是否有限制?
答案 0 :(得分:1)
通过电子邮件线程分别跟进调查结果,一般情况下:
然后潜在的罪魁祸首是网络配置错误。一般而言,Dataproc群集需要相互完全内部IP网络访问,并且在您的Google Compute Engine网络中具有防火墙规则是典型的,该规则会打开所有udp:1-65535,tcp:1-65535,icmp
但仅限于内部IP& #34;源IP范围&#34;。
在这种情况下,由于一个小错字/错误配置,项目确实缺少必要的规则,其中default-allow-internal
规则意外地限制源IP范围,并使用/32
的完整掩码。
如果您没有进行高级VPN配置或跨项目网络,则应重新添加简单的10.0.0.0/8 udp:1-65535;tcp:1-65535;icmp
防火墙规则。如果您正在进行更高级的网络连接,您可能希望将源范围限制为更具体一些,例如,如果您的网络的IPv4范围是10.128.0.0/16
,那么您就可以了应该设置你的内部&#34;允许内部&#34;防火墙也使用10.128.0.0/16
源范围。
通过cloud console添加防火墙规则提供了选择适用的源IP范围的便捷方法,尤其是当您手动枚举子网时会非常方便。