GCP数据融合在执行管道中太慢

时间:2020-03-06 13:53:37

标签: google-cloud-platform google-cloud-data-fusion cdap

我了解到数据融合是CDAP上的一项托管服务,但是与CDAP OSS(位于Google Market地方)相比,当前的6.1.1企业版太慢了。供应dataproc节点(无论计算配置文件是什么)大约需要3分钟,启动和运行模式大约需要1.5分钟,然后数据将开始流经节点。有什么方法可以优化它并提高速度吗?

1 个答案:

答案 0 :(得分:3)

Google Market中的

CDAP OSS正在内存中运行,建议仅用于开发,因为执行引擎无法扩展。

如果要优化Dataproc群集的配置,则可以自己预先配置Dataproc群集,然后使用Remote Hadoop Provisioner计算配置文件来提交作业。