文本处理为IPv4点分十进制表示法转换为/ 8或/ 16格式

时间:2012-06-09 04:10:53

标签: bash sed awk grep

我有一个输入文件,其中包含ip地址列表和ip_counts(我在内部使用的一些参数。)文件看起来有点像这样。

202.124.127.26  2135869
202.124.127.25  2111217
202.124.127.17  2058082
202.124.127.16  2014958
202.124.127.20  1949323
202.124.127.24  1933773
202.124.127.27  1932076
202.124.127.22  1886466
202.124.127.18  1882955
202.124.127.21  1803528
202.124.127.23  1786348
119.224.129.200  1776592
119.224.129.211  1639325
202.124.127.19  1479198
119.224.129.201  1145426
202.49.175.110  1133354
119.224.129.210  1119525
68.232.45.132  1085491
119.224.129.209  1015078
131.203.3.8   857951
202.162.73.4   817197
207.123.58.125   785326
202.7.6.18   762603
117.121.253.254   718022
74.125.237.120   710448
68.232.44.219   693002
202.162.73.2   671559
205.128.75.126   611301
119.161.91.17   604393
119.224.129.202   559930
8.27.241.126   528862
74.125.237.152   517516
8.254.9.254   514341

正如你所看到的,ip地址本身是未排序的。所以我在文件上使用sort命令对IP地址进行排序,如下所示

cat address_count.txt | sort -t . -k 1,1n -k 2,2n -k 3,3n -k 4,4n > sorted_address.txt

这给了我一个带有排序顺序的ip地址的输出。该文件的部分输出如下所示。

4.23.63.126    15731
4.26.254.254   320705
4.27.8.254    25174
8.12.129.50   176141
8.12.223.125    11800
8.19.32.65    15854
8.19.240.53    11013
8.19.240.70    11915
8.19.240.72    31541
8.19.240.73    23304
8.20.213.28    96434
8.20.213.32   108191
8.20.213.34   170058
8.20.213.39    23512
8.20.213.41    10420
8.20.213.61    24809
8.26.195.253    28568
8.27.152.253   104446
8.27.233.125   115856
8.27.235.126    16102
8.27.235.254    25628
8.27.238.254   108485
8.27.240.125   169262
8.27.241.126   528862
8.27.241.252   197302
8.27.248.125    14926
8.254.9.254   514341
12.129.210.71    89663
15.192.45.21    20139
15.192.45.26    35265
15.193.0.148    10313
15.193.113.29    40318
15.201.49.136    14243
15.240.238.52    57163
17.250.248.95    28166
23.33.125.13    19179
23.33.125.37    17953
31.151.163.60    72709
38.99.42.37   192356
38.99.68.180    41251
38.99.68.181    10272
38.104.237.74    74012
38.108.112.103    37034
38.108.112.115    69698
38.108.112.121    92173
38.108.112.122    99230
38.112.63.238    39958
38.119.130.62    42159
46.4.28.22       19769

现在我想解析上面给出的文件并将其转换为aaa.bbb.ccc.0 / 8格式, aaa.bbb.0.0 / 16格式,我也想计算每个子网中ip的出现次数。我想用bash做这个。我打开使用sed或awk。我如何实现此

例如

8.19.240.53    11013
8.19.240.70    11915
8.19.240.72    31541
8.19.240.73    23304
8.20.213.28    96434
8.20.213.32   108191
8.20.213.34   170058
8.20.213.39    23512
8.20.213.41    10420
8.20.213.61    24809

关于输入部分应该产生8.19.240.0/8和8.20.213.0/8,对于/ 16域也是如此。我还想计算子网中机器的出现次数。 例如,在上面的输出中,该子网旁边的下一列应该有计数4.它还应该在另一列中添加已经显示的count.i.e(11013 + 11915 + 31541 + 23304)。

8.19.240.0/8 4(11013 + 11915 + 31541 + 23304) 8.20.213.0/8 6(96434 + 108191 + 170058 + 23512 + 10420 + 24809)

如果有人能提出某种方法来实现这一点,那将会很棒。

2 个答案:

答案 0 :(得分:2)

这里的主要问题是,如果没有来自分组到达的各个时刻的路由表,您就不知道它们最初在哪个网络块中。当然,您可以将它们放入它们所在的类完整块中,在类完全路由的情况下,但所有会给你的是一个很好的演示文稿(并且,无可否认,是一个较短的文件)。

此外,您的示例看起来有点破碎。你在8.0.0.0/8中有一堆IP地址,你将它们聚合成看起来像/ 24路由的那些,最后用/ 8表示它们。

尽管如此,在awk中你可以使用sub()来替换文本(或者你可以使用index来查找。的出现次数,或者你可以使用split来分割点)。它应该相对容易从“删除最后一个数字,添加字符串”0/24“并使用它作为更新IP计数和命中计数字典的键,然后删除最后两个八位字节和斜杠,替换为“0.0 / 16”并执行相同的操作“(awk中的所有数组都是关联数组,因此基本上是dicts)。无需提前排序,当您循环搜索结果时,您将按随机顺序获取密钥,但平均而言会有更少的密钥,因此之后的排序将更便宜。

我好像手头没有awk,所以我不能给你一个代码示例。

答案 1 :(得分:0)

这可能对您有用:

awk '{a=$1;sub(/\.[^.]*$/,"",a);ac[a]++;at[a]+=$2};END{for(x in ac)print x".0/8",ac[x],at[x]}' file

这会打印'0/8地址,以使0/16复制代码,即b=a;sub(/\.[^.]*$/,"",b);ba[b]++等等。