标签: python pyspark
我有一个非常大的分隔文件,没有任何换行符。该文件的大小为22 GB,我想通过在每第n个字段后插入换行符将该文件拆分为多行。我在python和spark中得到内存错误我在换行前得到“Too Many Bytes”。
有没有办法可以做到这一点。