为什么SortedMap和TreeMap对Spark集群的性能有不同的影响?

时间:2018-11-19 08:25:19

标签: scala apache-spark

我最近遇到了一个奇怪的现象:

var timePosSortedMap = TreeMap.empty[String, String]
var timePosSortedMap1 = SortedMap.empty[String, String]

如果我尝试在数据集中使用timePosSortedMap1,则它往往会导致性能下降,并引发一些与Spark群集中内存不足有关的异常;但是当我尝试timePosSortedMap时,没有这样的问题。 然后我很困惑。因为我们可以在scala的源代码中看到SortedMap.empty [A,B] = TreeMap.empty [A,B]。 所以有人可以帮忙阐明一下吗?多谢。

0 个答案:

没有答案