如何设计监控算法来检测流量激增？

Question

我现在正在开发一个监控系统来检测主机/ uri的流量激增。详细的过程是读取实时nginx访问日志，计算每个主机的总流量并报告流量激增。

例如，对于每1分钟，如果主机的流量高达1000 /分钟，我的算法将找到它。但是，

1. 我的监控系统有许多主机可以同时监控
2. 主机的活动彼此差异很大
3. 每个单一宿主的活动在一天中随时间变化很大。

因此，只为每个主机配置一个线程保持不是一个好的解决方案。任何人都可以给我一些建议吗？我想要实现的是找到一种自动检测方法，可以根据每个主机的每个分钟的流量统计数据来警告突然/意外的流量浪涌，并且几乎不需要预先配置并且或多或少智能化？

Answer 1

Percona工具包的作者Baron Schwartz，高性能MySQL书和VividCortex的联合创始人最近发布了一本关于这个主题的免费书：Anomaly detection for monitoring。

我听说他在几次会议上发言。他非常令人印象深刻。 （其中许多会谈都在YouTube上。）