Kuberenetes数据局部性上的Spark和HDFS

时间:2018-08-22 23:10:01

标签: apache-spark kubernetes hdfs

我正在尝试在K8上运行Spark,并且在数据局部性方面有些挣扎。我正在使用本机Spark支持,但是刚刚观看了https://databricks.com/session/hdfs-on-kubernetes-lessons-learned。我按照那里的步骤设置了HDFS群集(使用主机网络在第一个k8节点上的namenode)。我想知道是否有人知道所提供的火花驱动程序的修补程序是否已合并到主线火花代码中?

我问,因为我仍然希望在NODE_LOCAL的地方看到任何地方。

1 个答案:

答案 0 :(得分:0)

该代码已成为v2.2.0-kubernetes-0.4.0版的一部分