Spark中的钨交换

时间:2017-09-19 22:17:00

标签: apache-spark

我在Spark集群中执行Java代码,其中包含4个执行程序和4个核心,每个执行程序内存为10gb。我在6-7个地方应用了重新分区和散列分区,并且有向无环图更改为此。This is the DAG after applying partitioning,The tungsten exchanges were not appearing earlier

我想知道Spark中这个钨交换的东西是什么?我之前从未见过这个,也没有在我的代码中提到它。那么如何通过将分区逻辑应用于我的代码来引入它呢?

0 个答案:

没有答案