Question

是否可以在Dataproc群集上运行位于Google Cloud Datalab中的代码？

我们的想法是使用Datalab的强大交互性和界面来运行Apache Spark代码。

Answer 1

这是我们的雷达，但尚未完全启用为Dataproc群集的初始化操作。

感谢。 Dinesh Kulkarni 产品经理，Datalab＆amp;机器学习，GCP

Answer 2

现在可以使用此命令创建数据集群：

gcloud dataproc clusters create $CLUSTERNAME \
    --project $PROJECT \
    --num-workers $WORKERS \
    --bucket $BUCKET \
    --metadata startup-script-url=gs://$BUCKET/setup/setup_env.sh,BUCKET=$BUCKET \
    --master-machine-type $VMMASTER \
    --worker-machine-type $VMWORKER \
    --initialization-actions \
         gs://dataproc-initialization-actions/datalab/datalab.sh \
    --scopes cloud-platform

为了让您更轻松，您可以使用此脚本：https://github.com/kanjih-ciandt/script-dataproc-datalab/tree/master

来自Google Datalab的Google Cloud Dataproc

2 个答案: