处理文件交换的文件BASH

时间:2018-05-19 15:59:20

标签: bash for-loop awk batch-processing

首先,我想就我的非常有关编码的基本知识道歉。那么我希望我能够正确地表达自己的问题。不要犹豫,要求进一步澄清或其他任何事情......

我遇到了后处理数据的麻烦......

我的目标是重新组合交换的数据。

编辑:这是一个.rar文件夹,其中包含我的测试示例和我尝试使用的测试示例...(在处理数据时不要害怕)

https://drive.google.com/file/d/1AEPUc8haT5_Z3LR3jnZZlpyfxhdDwwo6/view?usp=sharing

编辑2:这是我对纸张的期望(我的rar档案中的TestReorder3OK文件夹)

enter image description here

编辑3:最小化完成示例

脚本:

#!/bin/bash

# Definir le nombre de replica

NP=3
NP1=$[NP-1]
rm torder*
for repl in `seq 0 $NP1`
do
   echo $repl
# colle la colonne 2 du fichier .lammps dans un fichier rep_0, puis dans la seconde boucle, la colonne 3 dans rep_1, etc.  
   awk -v rep=$repl '{r2=rep+2;print $r2}'  < log.lammps  > rep_$repl
   i=0
   j=0
# cree une boucle dans la boucle
   for a in `cat rep_$repl`
   do
        i=$[i+1]
    j=$[j+3]
        head -$i screen.$repl.temp | tail -1  >> torder.$a
    head -$j ccccd2_H_${repl}_col.bak2 | tail -3 >> ccccd2_H_${a}_temp_col.bak2
   done
done

log.lammps文件

1 0 1 2
2 1 0 2
3 1 2 0

从第2列开始,此文件包含与下面输入相关联的数字。这是一个扩展的解释:

第2列有三个值:0,1和1; 0与文件ccccd2_H_0_col.bak2的前三行相关联,接下来的三行与1相关联,后三位与值1相关联。

第3列还有三个值:1,0和2; 1与文件ccccd2_H_1_col.bak2的前三行相关联,接下来的三行与0相关联,后三位与值2相关联。

第4栏的相同故事。

现在我想要的是,与0值相关联的每一组三行都进入一个文件。与1值相关联的每组三行进入另一个单独的文件,并将与2值相关联的三行组与最后一个文件相关联。

输入:

ccccd2_H_0_col.bak2

blank line
N a b c
C d e f

N g h i
C j k l

N m n o
C p q r

ccccd2_H_1_col.bak2

blank line
N s t u
C v w x

N y z a
C b c d

N e f g
C h i j

ccccd2_H_2_col.bak2

blank line
N k l m
C n o p

N q r s
C t u v

N w x y
C z a b

输出: 这些是所需的输出,也是我为简单测试文件获得的输出

ccccd2_H_0_temp_col

blank line
N a b c
C d e f

N y z a
C b c d

N w x y
C z a b

ccccd2_H_1_temp_col

blank line
N g h i
C j k l

N m n o
C p q r

N s t u
C v w x

ccccd2_H_2_temp_col

blank line
N e f g
C h i j

N k l m
C n o p

N q r s
C t u v

这适用于小型测试文件(如此处所示),但不适用于我的真实系统。对于我的真实系统,我有log.lammps文件包含14行和10,001行,我的输入文件包含121,121行(所以10,001 *块121行)。它创建的文件大10倍,数据量超出预期。

你可以告诉我我的问题吗?我认为这与包含单行的文件和包含笛卡尔坐标的文件的行号不同有关,但我真的不了解链接,也没有解决方法...

提前谢谢你......

1 个答案:

答案 0 :(得分:2)

我想我明白你现在正在尝试做什么,这个GNU awk脚本(用于ARGIND,ENDFILE和内置的打开文件管理)将会这样做:

$ cat ../tst.awk
ARGIND == 1 {
    for (inFileNr=2; inFileNr<=NF; inFileNr++) {
        outFileNrs[inFileNr,NR] = $inFileNr
    }
    next
}
ENDFILE { RS = "" }
{ print ORS $0 > ("ccccd2_H_" outFileNrs[ARGIND,FNR] "_temp_col") }

查找

<强> INPUT:

$ ls
ccccd2_H_0_col.bak2  ccccd2_H_1_col.bak2  ccccd2_H_2_col.bak2  log.lammps

$ cat log.lammps
1 0 1 2
2 1 0 2
3 1 2 0

$ paste ccccd2_H_0_col.bak2 ccccd2_H_1_col.bak2 ccccd2_H_2_col.bak2 | sed 's/\t/\t\t/g'

N a b c         N s t u         N k l m
C d e f         C v w x         C n o p

N g h i         N y z a         N q r s
C j k l         C b c d         C t u v

N m n o         N e f g         N w x y
C p q r         C h i j         C z a b

脚本执行:

$ awk -f ../tst.awk log.lammps ccccd2_H_0_col.bak2 ccccd2_H_1_col.bak2 ccccd2_H_2_col.bak2

<强>输出:

$ ls
ccccd2_H_0_col.bak2  ccccd2_H_1_col.bak2  ccccd2_H_2_col.bak2  log.lammps
ccccd2_H_0_temp_col  ccccd2_H_1_temp_col  ccccd2_H_2_temp_col

$ paste ccccd2_H_0_temp_col ccccd2_H_1_temp_col ccccd2_H_2_temp_col | sed 's/\t/\t\t/g'

N a b c         N g h i         N e f g
C d e f         C j k l         C h i j

N y z a         N m n o         N k l m
C b c d         C p q r         C n o p

N w x y         N s t u         N q r s
C z a b         C v w x         C t u v