在Linux中分割平面文件并添加定界符

时间:2019-08-08 17:11:43

标签: linux shell awk split delimiter

我想改善自己的代码。

我的shell脚本读取一个平面文件,并根据每行,标题和详细信息的第一个字符将其分成两个文件。对于标题,第一个字符为1,对于详细信息为2。拆分的文件不包含首字符。

页眉由“ |”定界,而细节是固定宽度的,因此,我在其alter中添加了定界符。

我想要在一个awk中执行此操作,以避免创建tmp文件。

我使用和awk命令分割文件,并使用另一个awk命令添加定界符。

这就是我现在拥有的:

Input=Input.txt
Header=Header.txt
DetailTmp=DetailTmp.txt
Detail=Detail.txt

#First I split in two files and remove first char
awk -v vFileHeader="$Header" -v vFileDetail="$DetailTmp" '/^1/ {f=vFileHeader} /^2/ {f=vFileDetail} {sub(/^./,""); print > f}' $Input

#Then, I add the delimiter to detail
awk '{OFS="|"};{print substr($1,1,10),substr($1,11,5),substr($1,16,2),substr($1,18,14),substr($1,32,4),substr($1,36,18),substr($1,54,1)}' $DetailTmp > $Detail

有什么建议吗?

Input.txt文件

120190301|0170117174|FRANK|DURAND|USA
2017011717400052082911070900000000000000000000091430200
120190301|0170117204|ERICK|SMITH|USA
2017011720400052082911070900000000000000000000056311910

Header.txt被分割

20190301|0170117174|FRANK|DURAND|USA
20190301|0170117204|ERICK|SMITH|USA

DetailTmp.txt已分割

017011717400052082911070900000000000000000000091430200
017011720400052082911070900000000000000000000056311910
017011727100052052911070900000000000000000000008250000
017011718200052082911070900000000000000000000008102500
017011726300052052911070900000000000000000000008250000

需要Detail.txt

0170117174|00052|08|29110709000000|0000|000000000009143020|0
0170117204|00052|08|29110709000000|0000|000000000005631191|0
0170117271|00052|05|29110709000000|0000|000000000000825000|0
0170117182|00052|08|29110709000000|0000|000000000000810250|0
0170117263|00052|05|29110709000000|0000|000000000000825000|0

1 个答案:

答案 0 :(得分:1)

只需合并脚本

$ awk -v OFS='|' '/^1/{print substr($0,2) > "header"} 
                  /^2/{print substr($0,2,10),substr($0,11,5),... > "detail"}' file

但是,第二遍通过在详细信息文件上使用FIELDWIDTHS可能会更好。