Spark中的saveAsTextFile在每个零件文件上都有标题吗？

Question

我想为saveAsTextFile生成的每个零件文件添加头。我可以想到的一种方法是使用mapPartitionsWithIndex而不是saveAsTextFile并自己将内容写入每个零件文件，同时将标头附加到每个文件中。但是，有没有更优雅的方法呢？

Answer 1

类似的事情，如果您还需要分区索引，则可以改用mapPartitionsWithIndex：

rdd
  .mapPartitions(it => Iterator(Iterator("my header"), it).flatten)
  .saveAsTextFile