带Spark应用程序的Datastax Spark Sql Thriftserver

Question

我运行了一个分析节点，并在其上运行Spark Sql Thriftserver。现在我无法使用spark-submit运行另一个Spark应用程序。

它说它没有资源。如何配置dse节点，以便能够同时运行？

Answer 1

SparkSqlThriftServer与其他任何一个一样是Spark应用程序。这意味着它默认请求并保留集群中的所有资源。

如果您想同时运行多个应用程序，有两个选项：

1. 仅为每个应用程序分配部分资源。

这是通过将spark.cores.max设置为小于群集中最大资源的值来完成的。

请参阅Spark Docs

1. 动态分配

允许应用程序根据他们尝试的工作量来更改他们使用的资源量。

请参阅Spark Docs