如何优化Spark数据的局部性?

时间:2018-08-13 12:43:50

标签: apache-spark pyspark

Spark UI中的位置级别: enter image description here

如何优化从NODE_LOCAL / RACK_LOCALPROCESS_LOCAL的位置级别?

我尝试设置参数spark.serializerspark.locality.wait.processspark.locality.wait.nodespark.locality.wait.rack,但没有成功。

如何实现?

0 个答案:

没有答案