创建Dataproc集群时报告的DataNode数量不足

Question

使用gs：//作为默认FS创建dataproc群集时，出现“报告的DataNodes数量不足”错误。下面是我正在使用dataproc cluster的命令。

gcloud dataproc clusters create cluster-538f --image-version 1.2 \
    --bucket dataproc_bucket_test --subnet default --zone asia-south1-b \
    --master-machine-type n1-standard-1 --master-boot-disk-size 500 \
    --num-workers 2 --worker-machine-type n1-standard-1 --worker-boot-disk-size 500 \
    --scopes 'https://www.googleapis.com/auth/cloud-platform' --project delcure-firebase \
    --properties 'core:fs.default.name=gs://dataproc_bucket_test/'

我检查并确认我正在使用的存储桶能够在存储桶中创建默认文件夹。

Answer 1

正如Igor建议的那样，Dataproc不支持将GCS作为默认FS。我还建议取消设置此属性。请注意，fs.default.name属性可以传递给各个作业，并且可以正常工作。