为什么Spark UI仅在“作业”选项卡下的DAG中显示“操作”而不显示“转换”

Question

我有一个简单的程序 -

lines =sc.parallelize(['a','b','c','d'])
lines.map(myfunct1).flatMap(flatmapfunc).map(myfunct2).collect()

当我在Spark中提交此程序并在“作业”选项卡下查看DAG时，我只能看到并行化和收集操作，但不能看到地图和平面图。

Screenshot

有关为什么我无法在DAG中看到任何变换的任何想法？

Answer 1

Spark UI并不能很好地支持Python RDD。您可以改用Python DataFrame。