Question

我在python中开发了一个用于在线Web服务用户行为研究的统计系统，它主要依赖于从生产服务器读取和分析日志。目前我在SMB协议下内部共享日志文件夹，供常规分析程序读取，但对于数据访问方法，我有2个问题，

除了通过SMB访问日志还有其他方法吗？还是其他策略？
我想很多阅读可能会阻止HD的制作并影响正常的日志写作，任何解决方案都可以解决这个问题吗？

我希望我能拿出一些实数，但目前还没有。任何人都可以给我一些关于更优雅地做这件事的指导吗？

Answer 1

如果您愿意使用第三方日志聚合工具，那么您有几个选择：

此外，如果您要登录到syslog - 许多常用的syslog守护程序（例如syslog-ng）可以配置为将各种应用程序的日志转发到这些聚合器中的一个或多个。从python应用程序登录到syslog是微不足道的 - 标准库中有一个syslog模块

Answer 2

好吧，如果你之间有一台HTTP服务器（IHS，OHS，我猜Apache也是......）那么你可以通过URL公开你的物理存储库：你的每个文件也会从URL中受益，并通过这种代码你可以很容易地下载它们：

import os
import urllib2

# Open our local file for writing
f = urllib2.urlopen(url)
with open(os.path.basename(url), 'wb') as local_file:
    local_file.write(f.read())

从生产服务器获取日志文件

2 个答案: