我们的事件日志流量很大(由入侵检测系统NIDS和HIDS生成但无论如何)
流量是异步的,事件不一样,但每个事件至少都有这些细节:
- 日期&时间,
- 协议,
- 源IP和端口,
-Destination IP和端口,
-Payload和......。
我们想要创建一个关联引擎,首先接收此事件日志(对于ie syslog),然后解析事件并分离上述参数,最后重要的部分是我们希望将这些参数相互关联并生成新警报。 />
因为关联规则可以是:如果源ip在一分钟内重复超过20次,并且如果这样的一分钟每天重复超过40次,则生成警报。
最大的问题是通常每秒超过30,000个事件的事件数量!! 应该通过超过 100 相关规则进行关联。如上所述。
以前和流行的解决方案大多用 C / C ++ 编写,使用MySQL(Maria dB),但由于某种原因,我们更喜欢 python 和 PostgreSQL 。登记/>
1-首先,我想知道瓶颈是依赖于编程语言还是独立于编程语言,数据库还是其他。(
2-第二,如果第一个问题的回答是“是”,那么 python 和postgres能为我们处理这样的表现吗?是否有一个有效的案例研究之前做过类似的事情?(或任何基准测试)