SparkSQL和locality

时间:2015-09-09 18:08:38

标签: apache-spark hdfs apache-spark-sql

我在hdfs之上使用sparksql 每个hdfs节点都有一个运行的spark slave 当我运行一个大型查询时,hdfs似乎是在节点之间发送数据来激发奴隶 为什么HDFS没有用本地数据提供本地火花呢? 所有任务都显示任何地点的水平 我甚至设置了spark.locality.wait = 10000
我缺少什么或需要看什么?
谢谢,

0 个答案:

没有答案