Bash Script将txt文件中的第四行导出到csv

Question

我有一个名为Subj1，Subj2 ... Subj50的50个目录，每个目录包含152个文本文件，每个文件以下列命名格式命名

regional_vol_GM_atlas1.txt
..
..
regional_vol_GM_atlas152.txt

每个文件的数据排列为4行2列，其中列值由空格分隔符

分隔

667869 667869
580083 580083
316133 316133
9020 9020

我想将带有标题的每个txt文件的第四行导出到我拥有的所有50个目录的csv文件中

我编写了一个脚本，可以将每个文本文件中的数据与标题一起导出并创建一个CSV，但脚本会接收文本文件中的所有数据并粘贴到CSV而不是第4行。

#!/bin/bash


# pasting the file name as column name,  
for x in regional_vol_*.txt ; do  


   sed -i "1s/^/${x}\n/" ${x}

done
# Sorting the files and Subj1 directory name is file name of csv file 
paste -d, $(ls -1v regional_vol*.txt ) >> subj1.csv

下图描述了file.Subj1的目录名

的输出

Answer 1

您可以使用find以递归方式在所有子目录中查找所需文件，然后使用sed将第1行和最后一行输入到新文件中。

执行所有操作的主要命令是：

$ echo "x" > temp
$ find . -type d -iname "sub*" | sed 's/^.*\///' >> temp
$ find sub1/* -type f -printf "%f\n" | paste -s -d , > data.csv
$ for dir in *; do paste -s -d ',' <(tail -q -n 1 "$dir"/regional_vol_*.txt) >> data.csv; done 2> /dev/null
$ paste -d , temp <(sed '/^\s*$/d' data.csv)
x,regional_vol_GM_atlas1.txt,regional_vol_GM_atlas2.txt
sub1,1 1,2 2
sub2,3 3,4 4

以下是我制作的示例结构：

$ ls -R
.:
sub1/  sub2/

./sub1:
regional_vol_GM_atlas1.txt  regional_vol_GM_atlas2.txt

./sub2:
regional_vol_GM_atlas1.txt  regional_vol_GM_atlas2.txt
$ cat sub1/* sub2/*
header1 header1
667869 667869
580083 580083
316133 316133
1 1
header2 header2
667869 667869
580083 580083
316133 316133
2 2
header3 header3
667869 667869
580083 580083
316133 316133
3 3
header4 header4
667869 667869
580083 580083
316133 316133
4 4
$ find sub1/* -type f -printf "%f\n" | paste -s -d , > data.csv
$ for dir in *; do paste -s -d ',' <(tail -q -n 1 "$dir"/regional_vol_*.txt) >> data.csv; done 2> /dev/null
$ cat data.csv 
regional_vol_GM_atlas1.txt,regional_vol_GM_atlas2.txt

1 1,2 2
3 3,4 4