压缩大量数据

时间:2015-11-15 16:03:38

标签: c# sql-server mongodb filesystems compression

我在表格中有IP地址

0.0.0.1 Port 80;23 hash sha256 value
0.0.0.2 Port 110;443 hash sha256 value
0.0.0.3 Port 80;443 hash sha256 value
-
254.254.254.254 Port 443

总共有大量数据。 现在,如果我要创建具有所有可能组合的数据库,则需要700 gig +

但是有大量数据是冗余的,比如0.0。我可以节省空间。 我有几种方法可以考虑这个问题 1:使用Windows服务器数据复制来帮助缩小文件(通过创建容器并将文件粘贴在容器中)这会产生有限的开销,我不知道什么会更好用,MongoDB上的Microsoft SQL,请建议是否有人在mongodb或sql上使用了数据复制。

2:离开0.0.0。超出数据库,意味着数据库将保持

.1
.2 
.3
.4

这样我知道我的程序需要搜索

0.0.0.1 and 
1.1.1.1 , 
2.2.2.1 -
254.254.254.1

这里的关键是我需要快速搜索IP地址,让它们占用数据库中最小的表面积,并且开销最小。 我考虑过将文件压缩到gzip,这也是一个选项,我需要将文件尽可能地保存到最小,同时仍然在哈希查找中具有良好的性能,我需要通过哈希值搜索IP地址而不是IP地址值.....

0 个答案:

没有答案