使用Spark在分隔符上拆分大文本文件

时间:2016-05-29 21:58:11

标签: apache-spark

我有文本文件,其中条目(日志事件)不会被新行分割。不幸的是,一切都在一条线上:

  

信息| [日志] iffidfdfdfdfdfd   testde ddedede dede dedededed   警告| [日志] etststs dedessdsds   trtrtrtrtrtrtrtr   错误| [日志] tetdtetdetddeded   dededededededededdedededededededede

我的目标是在每个日志事件中将这一条巨大的行拆分为不同的行:

  

信息| [日志] iffidfdfdfdfdfd testst ddedede dedededededed

     

警告| [日志] etststs dedessdsds trtrtrtrtrtrtrtr

     

错误| [日志] tetdetededededededededed dedededededededede

0 个答案:

没有答案