应用程序如何收集统计信息

Question

我需要从用python编写的服务器应用程序中收集统计信息。我正在寻找有关如何设置模型以及如何存储统计信息的一般指导。我在考虑在数据库中存储和组织所有这些信息，但我的实现过于具体了。

我需要收集活跃用户，已处理请求以及类似内容等统计信息。

是否有任何指南或技术可用于创建更通用的统计存储系统？

Answer 1

与大多数软件解决方案一样，我没有推荐可以解决您问题的单一解决方案。但我创建了一些类似的程序，这里有一些我发现效果很好的东西。

• 创建异步日志记录服务，以便日志记录不会对代码的性能产生负面影响。 （您需要注意存储数据的位置，处理的位置等等，因为如果不小心，仍会严重降低性能。）我发现创建Web服务通常很方便。
• 尽可能多地尝试并保存有关请求的信息。将来，这将使添加新查询和报告变得更加容易。
  • Normalize您的数据
  • 始终包括执行操作的时间。如果你能捕获它通常也有用的运行时间。

Answer 2

一种方法是分阶段执行此操作：将活动日志（包括请求和用户）存储为文本文件。之后，将日志挖成数据点（python应该能够轻松完成）。您可能希望将logging library for python用于记录阶段。通常，从高时间分辨率记录开始，您可以稍后将其汇总为每小时，每日，每周摘要等。