我了解到数据融合是CDAP上的一项托管服务,但是与CDAP OSS(位于Google Market地方)相比,当前的6.1.1企业版太慢了。供应dataproc节点(无论计算配置文件是什么)大约需要3分钟,启动和运行模式大约需要1.5分钟,然后数据将开始流经节点。有什么方法可以优化它并提高速度吗?
答案 0 :(得分:3)
CDAP OSS正在内存中运行,建议仅用于开发,因为执行引擎无法扩展。
如果要优化Dataproc群集的配置,则可以自己预先配置Dataproc群集,然后使用Remote Hadoop Provisioner计算配置文件来提交作业。