Spark:Executor Cores不能并行读取文件

时间:2016-05-07 11:47:25

标签: java multithreading apache-spark io yarn

我有一个spark应用yarn scheduleryarn-client模式,fair调度程序),其中Stage - 1正在从{{读取160多个文件1}}。显示S3的快照如下所示:

enter image description here

问题

Event Timeline中两个cores并行读取文件的原因是什么?哪些因素决定executor将使用多少physical cores?有保证的设置吗?

修改-1

Spark Yarn Configuration article引用: “核心请求是否在调度决策中得到遵守取决于正在使用的调度程序及其配置方式。”

核心请求似乎受Yarn调度程序设置的约束。有人可以指出哪些设置对此负责吗?

0 个答案:

没有答案