在Spark中,是否可以为每个执行程序创建单独的后台任务?

时间:2017-05-23 10:32:49

标签: scala apache-spark bigdata

在我的N节点集群中,每个节点将有一个执行程序,每个执行程序的任务数量与节点上的核心数量相同。但是,出于某种原因,我还想为每个执行者创建一个特殊的后台任务。例如,该特殊任务可用于分析节点或组合由节点上的其他任务创建的文件。所以,我的问题是,是否可以在Spark中为执行程序创建这样的特殊后台任务?

0 个答案:

没有答案