根据Bash中的列值过滤行

时间:2011-04-19 19:42:51

标签: bash text-processing

我有一个bash脚本,它输出一些基于列的信息。我想给用户一些匹配值的选项是特定的列。例如,./myColumnDump可能会打印

User Job_name Start_day
andrew job1_id monday
andrew job2_id tuesday
adam job1_id tuesday
adam job2_id monday

我想添加./myColumDump -j 2之类的选项(其中j的参数是使用的正则表达式,它匹配Job_name列中的值)。

我正在通过grep管道输出并将用户指定的正则表达式嵌入到一个大的正则表达式中以匹配整行,但是他/她可能指定-j .*monday将溢出到不同的列。< / p>

在bash脚本中有没有更好的方法来实现这一点?

4 个答案:

答案 0 :(得分:2)

此问题是为awk(1)量身定制的。例如,您可以这样做:

awk '$2 ~ /^job1/'

打印出第二列与^job1匹配的行。因此,给定N中的列号和R中的正则表达式,您应该能够执行此操作:

awk "\$${N} ~ /${R}/"

像往常一样,你需要小心引用。

答案 1 :(得分:2)

要构建 mu太短的答案,你可以将用户的模式传递给awk:

# suppose the -j pattern is in shell var $j
awk -v j="$j" '$2 ~ j'

必须建议用户输入awk理解的正则表达式模式。

答案 2 :(得分:2)

以下是完成bash脚本scan.sh的工作:

#!/bin/bash
usage()
{
cat << EOF
usage: $0 options
This script scans given input file for specified regex in the input column #   
OPTIONS:
   -h      Show usage instructions
   -f      input data file name
   -r      regular expression to match
   -j      column number
EOF
}   
# process inputs to the script
DATA_FILE=
COL_NUM=
REG_EX=
while getopts ":j:f:r:h" OPTION
do
     case $OPTION in
         f) DATA_FILE="$OPTARG" ;;
         r) REG_EX="$OPTARG" ;;
         j) COL_NUM="$OPTARG" ;;
         \?) usage
             exit 1 ;;
         h)
             usage
             exit 1 ;;
     esac
done   
if [[ -z $DATA_FILE ]] || [[ -z $COL_NUM ]] || [[ -z $REG_EX ]]
then
     usage
     exit 1
fi

awk -v J=${COL_NUM} -v R="${REG_EX}" '{if (match($J, R)) print $0;}' "${DATA_FILE}"

测试

假设这是您的数据文件: 用户Job_name Start_day

andrew job1_id monday
andrew job2_id tuesday
adam job1_id tuesday
adam job2_id monday

./scan.sh -j 2 -f data  -r ".*job1.*"
andrew job1_id monday
adam job1_id tuesday

./scan.sh -j 2 -f data  -r ".*job2.*"
andrew job2_id monday
adam job2_id tuesday

./scan.sh -j 1 -f data  -r ".*adam.*"
adam job1_id tuesday
adam job2_id monday

答案 3 :(得分:2)

这是一个纯粹的bash脚本(礼貌anubhava)

#!/bin/bash
# tested on bash 4
usage()
{
cat << EOF
usage: $0 options [file]
This script scans given input file for specified regex in the input column #
OPTIONS:
   -h      Show usage instructions
   -f      input data file name
   -r      regular expression to match
   -j      column number

Example:  $0 -j 2 -r "job2" -f file
EOF
}
# process inputs to the script
DATA_FILE=
COL_NUM=
REG_EX=
while getopts ":j:f:r:h" OPTION
do
     case $OPTION in
         f) DATA_FILE="$OPTARG" ;;
         r) REG_EX="$OPTARG" ;;
         j) COL_NUM="$OPTARG" ;;
         \?) usage
             exit 1 ;;
         h)
             usage
             exit 1 ;;
     esac
done
if [[ -z $DATA_FILE ]] || [[ -z $COL_NUM ]] || [[ -z $REG_EX ]]
then
     usage
     exit 1
fi
while read -r line
do
    array=( $line )
    col=${array[$((COL_NUM-1))]}
    [[ $col =~ $REG_EX ]] && echo "$line"
done < $DATA_FILE