关联数组在awk中限制。内存使用情况

Question

我有一个包含超过2000万条记录的文件，想要为第1列的每个唯一值求和第5列，我使用了下面的代码。

cat test.txt |awk 'BEGIN{FS="|"}{a[$1]+=$5;}END{for(i in a) print i"|"a[i];}'

输出中a [i]的最大值限制为9999。

请帮助我......任何解决方案？

Answer 1

$ cat > file
1||||a|NOTICE A LETTER IN FIFTH
1||||5
2||||57
2||||34535
3||||34535353
3||||1
1||||1
$ cat file|awk 'BEGIN{FS="|"}{a[$1]+=$5;}END{for(i in a) print i"|"a[i];}'
1: 6
2: 34592
3: 34535354

您对我的数据有什么了解？