标签: hadoop apache-spark pyspark
不确定这是否是一个明显的问题,但我注意到Spark每次执行一个动作,例如从文件加载或从数据框中选择,显示为Stage ======>的进度重复两次。
Stage ======>
它发生在我的脚本上,所以它不是我能展示的特定代码。我也不确定如何检查它以确定它是否实际执行了两次,或者它只是显示。
有谁知道这是一个问题,还是我可以检查确定?