将长分隔线拆分为多行

时间:2017-11-24 07:00:47

标签: python pyspark

我有一个非常大的分隔文件,没有任何换行符。该文件的大小为22 GB,我想通过在每第n个字段后插入换行符将该文件拆分为多行。我在python和spark中得到内存错误我在换行前得到“Too Many Bytes”。

有没有办法可以做到这一点。

0 个答案:

没有答案