我有一个大文件,在一些spark处理后面有一个标题(但不在顶部)所以我必须将这个字符串标题附加到文件的第一行。
我试图这样做,因为我找不到任何方法直接在第一行前置(首先我读取所有大内容,然后我清除整个文件,最后用标题覆盖文件,然后追加所有大字符串)
val content: String = txtOutput.contentAsString
txtOutput.clear()
txtOutput.overwrite(model_header)
txtOutput.appendLine().append(content)
但我得到以下问题“请求的数组大小超过VM限制”我无法管理,因为我在Databricks编码所以我无法调整它,所以我需要任何方式来处理我的数据