在Dataproc上运行自定义spark构建?

时间:2017-02-08 14:50:25

标签: apache-spark google-cloud-dataproc

是否可以在Google Cloud Dataproc上编译和构建自定义Apache Spark?假设我们想要调整Apace Spark,然后想在数据流上构建自定义Spark。

1 个答案:

答案 0 :(得分:1)

这应该是可能的。 Dataproc为您提供正常的计算引擎VM,并设置Hadoop和YARN。

您可以登录任何计算机,安装自定义spark构建并指定YARN和Hadoop安装(Dataproc)。但是,我怀疑您是否能够使用GCP控制台或dataproc命令行界面来提交和监视您自己安装的作业,而无需进一步修改。