Question

我的应用程序每天构建大量日志。我曾经使用crontab和一些Java应用程序将这些数据存储到MySQL中。否则我有一个管理系统，其功能主要基于MySQL中对这些数据的分析。我的应用程序未在单个Web应用程序服务器上运行。因此，直接分析基于日志文件的数据并不是一种好方法。但是随着日志文件变得越来越大，crontab完全存储日志文件需要很长时间，我无法进行实时分析。那么可以进行哪些优化以获得实时分析？

Answer 1

您可以使用OtrosLogViewer in "Batch processing" mode。我每天午夜都加入日志的玉米扫描工作。我也在使用Log4j DailyRollingFileAppender

免责声明：我是OtrosLogViewer的作者

Answer 2

我认为你可以为每次运行创建一堆日志文件，而不是创建单个文件并将所有错误写入其中。

我遇到的问题与我的基于java的应用程序一样，日志文件的大小要大得多。所以我用下面提到的表格

创建了一个文件夹和存储的文件

＆LT; FolderName + DateOfRun＆gt;

              -----< File Contains Exception/Error for core Logic >.txt
              -----< File Contains Exception/Error for primary Logic >.txt
              -----< File Contains Exception/Error for secondary Logic >.txt
              -----< File Contains Exception/Error for miscellaneous  Logic >.txt

这为我提供了更好的处理大量数据的方法。通过花费近4小时-5小时来完成它的运行。

Answer 3

我们使用XpoLog作为我们的日志分析系统，它是一个允许在没有代理的情况下实时分析日志文件的平台。

如何获得实时日志分析

3 个答案: