是否可以限制应用程序在Spark上使用的执行程序数量？我可以使用usort($events, function($a, $b) {
$oneday = 86400; // seconds in a day
$cutoff = strtotime('8:00');
$atime = strtotime($a['start_time']);
if ($atime < $cutoff) {
$atime += $oneday;
}
$btime = strtotime($b['start_time']);
if ($btime < $cutoff) {
$btime += $oneday;
}
return $atime - $btime;
});
设置执行程序的初始数量，但稍后在我的应用程序中，似乎Spark会自己添加所有可用的执行程序。
这使得它无法同时在群集上运行其他作业。谷歌搜索让我知道解决方案但spark.executor.instances似乎无法限制执行者的总数......
答案 0 :(得分：1)
spark.dynamicAllocation.maxExecutors=infinity
默认情况下，此属性为无穷大，您可以设置此属性以限制执行程序的数量。