我想使用带有Scala(2.10.6)的Spark(1.6)在文本文件末尾添加新行。 问题在于RDD不允许附加内容,而使用DF则不能有几列。
这个想法对我不起作用(我认为这在计算上很昂贵):make-spark1-6-saveastextfile-to-append-existing-file
所以,我想到了这个主意:
import sys.process._
"sed -i '$ a 2,1234' /path/file.txt" !
我想这只是一个语法错误。.但是我尝试了一切。
如果有人在这里伸出援手,我将非常感激。谢谢! :)