数据挖掘日志以查找错误

时间:2009-05-25 11:21:27

标签: logging data-mining

我正在开发一个数据分发应用程序,它从源接收数据并将该数据分发到多个目标应用程序。在每天成功分发多条消息8天后,它错过了一条消息,并没有正确地将其传递给客户。

当我查看日志时,我试图找到那些在发生错误时发生的特殊事情 - 无论是在数据,速率还是其他条件下都找不到。

我是否可以使用任何数据挖掘技术来确定特定事件与其他事件的区别?

4 个答案:

答案 0 :(得分:2)

您可以查看outlier detection。一种基本技术是为许多消息绘制几个变量,并查看此消息是否真正突出。同时可视化两个以上维度的方法是parallel coordinates。也许您还应该查看半小时的垃圾箱,计算他们的统计数据,看看这条消息是否存在问题。

答案 1 :(得分:1)

流程挖掘可以用于多种目的,而不仅仅是推断业务流程模型。流程挖掘及其下一步的发展就是流程发现,它可以帮助组织超越映射流程模型,即使这是起点。

以下是过程发现输出的一些方面的帮助:

Process Discovery可以生成一个数字流程双胞胎,可用于模拟,建模和设计过程。

过程变量的详细输出有助于定义自动化(RPA)和有效的转换需求。在这方面,可以将流程挖掘视为组织流程的X射线或CT扫描。

Process mining and discovery software solutions也可能有助于流程一致性。

其他用例包括精度培训,容量规划和瓶颈识别。

答案 2 :(得分:0)

我认为数据挖掘不是正确的工具。

我会添加一些系统日志记录(在接口上,难以推断内部状态更改,并且在您的情况下为什么决定分发与否)并尝试重现问题,然后从日志中弄清楚究竟是什么错误。虽然数百万条消息可能很难,但很少发生像这样的错误。

答案 3 :(得分:0)

很抱歉,我没有看到这是什么,只是对数据挖掘的误解。

你已经知道了麻烦的信息,因此你知道这是一个'异常值'。那你在为什么挖掘?