系统日志数据对机器学习有价值吗?

时间:2017-01-03 18:31:43

标签: networking machine-learning deep-learning syslog splunk

有没有人有系统日志数据和机器学习或深度学习的经验?系统日志数据是否足够丰富,可用于机器学习算法并获得洞察力?如果是这样,可以获得什么见解呢?目前是否有可用的工具来理解大量的系统日志数据?

1 个答案:

答案 0 :(得分:1)

Splunk可以相对容易地做到这一点,但数据清理部分可能需要很长时间。你需要将Splunk与之联系起来,因为你谈论的是运营智能机器学习,这是数据和系统的大量涌现。

回答你的问题,是的。我已经使用系统日志数据来跟踪异常故障,并利用机器学习来预测(并减少)因门票进入而导致的中断次数。换句话说,我们使用机器学习来预测在预定(和通信)中断期间有多少人会恐慌,因此我们可以准确地说明我们的报告指标。

我可以说它很有价值,但如果您正在讨论预测数据库连接问题算法或应用程序问题,那么它充其量只是一个因素。 syslog不够密集,无法告诉您在机器上运行的每个应用程序中发生了什么(除非您将发送到/ var / log'syslog'的任何日志分类),在执行机器学习算法时需要考虑应用程序日志,因为该应用程序没有更好的活动来源。诀窍是确定该应用程序或服务的依赖关系。

Splunk是一个很棒的工具,与其他人相比,它可以很容易地用来理解大量的数据。我使用它来不断地scub所有syslog文件以解决连接问题,并且在数据进入后它非常容易。