标签: apache-spark hdfs apache-spark-sql
我在hdfs之上使用sparksql 每个hdfs节点都有一个运行的spark slave 当我运行一个大型查询时,hdfs似乎是在节点之间发送数据来激发奴隶 为什么HDFS没有用本地数据提供本地火花呢? 所有任务都显示任何地点的水平 我甚至设置了spark.locality.wait = 10000 我缺少什么或需要看什么? 谢谢,