spark 2.4高阶函数数据偏斜

时间:2018-10-11 21:31:04

标签: apache-spark apache-spark-sql higher-order-functions skew

https://www.youtube.com/watch?v=8fxkAfxfxrs引入了高阶函数。但是,如何处理数据偏斜?即想象一下长度为10的数组与长度为10000000的其他数组的比较。对每个键进行定期重新分区将无法解决问题。

0 个答案:

没有答案