在为Starburst Presto创建Azure HDInsight群集时，我可以创建Spark群集吗？

Question

在为大数据创建基础结构时，我想将Azure HDInsight与Presto安装一起使用。 Azure HDInsight具有不同的风格，例如hadoop，spark等。在文档中，建议使用hadoop群集，但我想使用spark。

是否可以在Starburst的Presto分布中使用火花簇？

Answer 1

您似乎想同时使用Presto和Spark。 如果在单个群集上运行它们，则需要适当配置它们，以确保不同进程的JVM可以共存。这是可行的，但是在实践中很难做到（您需要了解JVM如何在-Xmx设置之外分配内存），因此绝对不建议这样做。

虽然我可以想象，在某些内部部署中很难配置新硬件的情况下，您可能希望将服务并置在一个群集上。在云中，配置两个单独的集群更加方便，每个集群的大小都可以满足您的特定需求和工作负载。例如，您可以将一个具有Presto的群集用于交互式分析，仪表板和临时查询。另一个带有Spark的组件可用于您的机器学习或ETL工作负载。

有关详细的配置说明，请参阅Starburst Presto on Azure documentation。