我目前正在决定存储DNS日志的长期架构解决方案。我们所讨论的数据量在峰值时每天大约有80 GB的日志。目前我正在研究noSQL数据库,如mongoDB,以及关系 - mySQL。我想构建一个有三个要求的解决方案:
- 存储:这是一个长期项目,因此我希望每天能够存储80 GB的日志(每年约30 TB!)。我意识到这非常荒谬,所以我愿意保留一段时间(保持6个月的日志值= 15 TB不变)。
- 可扩展性:由于这是一个长期解决方案,这是一个大问题。我听说mongoDB可以横向扩展,而mySQL不是吗?对此的任何详细说明都会得到很好的接受。
- 查询速度:尽可能接近即时查询。
应该注意,我们的日志存储在中间服务器上,因此我们不需要从我们的DNS服务器转发日志。