我对ELK堆栈非常陌生,并试图了解它。 我想了解一下如何计划将100GB /天的数据容量保留30天,以及如何计划。 数据主要是访问日志,应用程序日志,事件。 我将需要运行一些正则表达式来填充数据字段(除非对此有任何默认的定界符支持)。 我打算保留3个副本。
如果这需要多少台服务器以及采用哪种类型的配置,可以请谁指导我?
非常感谢。
答案 0 :(得分:1)
我们使用集群化Elasticsearch实例的“热-热架构”(docs)(您可以在一台服务器上运行多个!)。每个都有31克内存。
我们的“热”实例配置了3天的保留时间和一次ssd突袭。在这三天之后,数据将被转移到保留时间为(30-90天)的“热” HD Raid。很好,因为使用ssds,可以在kibana中搜索最新数据,因此处理速度非常快。
有时我们在一台服务器上启动了1个Elastic Master(4g内存)和2个Elastic Clients(31g内存)。
我认为这样的机器至少应具有约128g的内存,1TB的SSD容量,4-6TB的高清容量。