Question

我需要从csv文件中提取字段。有两列billing_info和key_id。 billing_info是一个在花括号中包含多个数据项的对象。我需要将billing_info.id_encrypted，key_id提取到另一个文件中。

input.csv

  billing_info,key_id
    {id: '1B82', id_encrypted: '1Q4AW5bwyU', address: 'san jose', phone: '13423', country: 'v73jyqgE='},bf6-96f751

output.csv

 billing_info.id_encrypted,key_id
 1Q4AW5bwyU,bf6-96f751

我可以知道如何使用awk命令以output.csv中提到的格式提取数据。请帮助

Answer 1

进行一些假设：

输入的第一行列出了列名
用大括号分隔的元素包含任意数量的逗号分隔键/值对
键值对可以任意顺序出现
值由单引号分隔
逗号不能出现在键或值内
单引号不会出现在其他任何地方

<csvfile | awk -F, '
    BEGIN {
        getline
        print "billing_info.id_encrypted,key_id"
    }
    {
        for (i=1; i<NF; i++)
            if ($i ~ /id_encrypted/)
                split($i, e, /\047/)
        print e[2] "," $NF
    }
'

注意：

-F,将输入行拆分为逗号分隔的字段
BEGIN部分处理标题
- 即使没有输入，我们也会输出标题
for循环遍历所有字段（最后一个字段除外）
($i ~ /id_encrypted/)查找包含关键字的任何内容
split将该字段拆分为单引号（/\047/）
print输出找到的值，最后一个字段

Answer 2

这是使用awk的快速而优雅的解决方案：

awk -F ":" '{split($3,arr1,",");split($6,arr2,",");print arr1[1] "," arr2[2]}' input.csv > output.csv

说明：

-F ":"设置awk字段分隔符:

split($3,arr1,",")将第三个字段除以,分成具有2个元素的数组。

split($6,arr2,",")将第6个字段除以,分成具有2个元素的数组。

然后打印出arr1中的第一个元素和arr2中的第二个元素。

Answer 3

我建议您只将整个输入转换为CSV，然后使用awk或Excel或任何其他工具从中轻松提取所需的任何字段，例如：

$ cat tst.awk
BEGIN { FS=OFS="," }
FNR==1 {
    split($0,hdr)
    next
}
{
    fld[1] = fld[2] = $0
    sub(/,[^,]*$/,"",fld[1])
    gsub(/^{|}$/,"",fld[1])
    sub(/.*,/,"",fld[2])
    # print "trace: " hdr[1] "=<" fld[1] ">" | "cat>&2"
    # print "trace: " hdr[2] "=<" fld[2] ">" | "cat>&2"

    numTags = split(fld[1],tags,/'[^']*'/,vals)
    delete tags[numTags--]
    for (tagNr=1; tagNr<=numTags; tagNr++) {
        gsub(/^, *|: *$/,"",tags[tagNr])
        gsub(/^'|'$/,"",vals[tagNr])
        # print "trace:    " tagNr ": <" tags[tagNr] "=" vals[tagNr] ">" | "cat>&2"
    }
}
FNR == 2 {
    for (tagNr=1; tagNr<=numTags; tagNr++) {
        printf "%s.%s%s", hdr[1], tags[tagNr], OFS
    }
    print hdr[2]
}
{
    for (tagNr=1; tagNr<=numTags; tagNr++) {
        printf "\"%s\"%s", vals[tagNr], OFS
    }
    printf "\"%s\"%s", fld[2], ORS
}

。

$ awk -f tst.awk file
billing_info.id,billing_info.id_encrypted,billing_info.address,billing_info.phone,billing_info.country,key_id
"1B82","1Q4AW5bwyU","san jose","13423","v73jyqgE=","bf6-96f751"

上面对split()的第4个arg使用GNU awk。取消对print trace行的注释，以查看每个步骤在做什么。如果您删除或替换每个字段（例如地址）中的任何逗号，则无需在每个输出字段周围添加双引号。

提取一列的一部分并使用awk保存到另一文件中

3 个答案: