将字符串附加/前置字符串添加到Scala中的大文件中

时间:2018-02-07 14:36:40

标签: scala file append

我有一个大文件,在一些spark处理后面有一个标题(但不在顶部)所以我必须将这个字符串标题附加到文件的第一行。

我试图这样做,因为我找不到任何方法直接在第一行前置(首先我读取所有大内容,然后我清除整个文件,最后用标题覆盖文件,然后追加所有大字符串)

val content: String = txtOutput.contentAsString
    txtOutput.clear()
  txtOutput.overwrite(model_header)
  txtOutput.appendLine().append(content)

但我得到以下问题“请求的数组大小超过VM限制”我无法管理,因为我在Databricks编码所以我无法调整它,所以我需要任何方式来处理我的数据

0 个答案:

没有答案