我想处理诸如CEP(复杂事件处理)之类的日志文件,但是CEP旨在使用流而不是将日志文件用作源。
是否存在用于日志文件(带时间戳的批处理数据)源的CEP之类的工具?
还是应该在将现有的CEP工具(或框架)处理日志文件之前将其转换为流文件?
我已经尝试过FlinkCEP并以某种方式完成了这项工作,但是它似乎不适合复杂的事件模式,或者很难学习如何使用它。.很少有关于复杂事件模式的示例..
但是Siddhi呢,它适用于日志文件吗?
BR Esa
答案 0 :(得分:0)
Siddhi适用于日志文件,您可以将siddhi用作embedded mode,也可以通过使用WSO2 Stream Processor将siddhi用作服务器。
在两种情况下都使用Siddhi file source,并使用text mapping 在文本映射中实现此目的。您可以定义开始和结束正则表达式模式以标识每个日志消息,并使用正则表达式提取日志中的每个元素以进行处理。这将帮助您将日志转换为流,然后将能够以流模式处理日志。