Question

我有Apache的自定义访问日志：

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %{JSESSIONID}C %D %V" mylog

我试图从Python中解析生成的LOG;但我有两个问题：

无请求方法（HTTP / 1.0或HTTP / 1.1）的请求未正确解析。
请求路径中的空格请求未正确解析（我不知道Apache是否保存此路径编码或保留空格，但我可以生成一条LOG行在telnet中手动发出请求）。 / LI>

使用此正则表达式：

(?P<ip>.*) (?P<remote_log_name>.*) (?P<userid>.*) \[(?P<date>.*)(?= ) (?P<timezone>.*?)\] \"(?P<request_method>.*) (?P<path>.*)(?P<request_version> HTTP/.*)\" (?P<status>.*) (?P<length>.*) \"(?P<referrer>.*)\" \"(?P<user_agent>.*)\" (?P<session_id>.*) (?P<generation_time_micro>.*) (?P<virtual_host>.*)

使用此LOG的前3行解析失败：

1.1.1.2 - - [11/Nov/2016:03:04:55 +0100] "GET /" 200 83 "-" "-" - 9221 1.1.1.1
127.0.0.1 - - [11/Nov/2016:14:24:21 +0100] "GET /uno dos" 404 298 "-" "-" - 400233 1.1.1.1
127.0.0.1 - - [11/Nov/2016:14:23:37 +0100] "GET /uno dos HTTP/1.0" 404 298 "-" "-" - 385111 1.1.1.1
1.1.1.1 - - [11/Nov/2016:00:00:11 +0100] "GET /icc HTTP/1.1" 302 - "-" "XXX XXX XXX" - 6160 11.1.1.1
1.1.1.1 - - [11/Nov/2016:00:00:11 +0100] "GET /icc/ HTTP/1.1" 302 - "-" "XXX XXX XXX" - 2981 1.1.1.1

可以在此处模拟正则表达式https://regex101.com/r/xDfSqj/2。

Answer 1

试试这个解决方案： https://regex101.com/r/xDfSqj/4

除了：

之外，你有同样的事情

(?P<ip>.*?) (?P<remote_log_name>.*?) (?P<userid>.*?) \[(?P<date>.*?)(?= ) (?P<timezone>.*?)\] \"(?P<request_method>.*?) (?P<path>.*?)(?P<request_version> HTTP/.*)?\" (?P<status>.*?) (?P<length>.*?) \"(?P<referrer>.*?)\" \"(?P<user_agent>.*?)\" (?P<session_id>.*?) (?P<generation_time_micro>.*?) (?P<virtual_host>.*)

在HTTP / 1.0周围添加了一个捕获组并给出了？量词。这也会添加到您的其他组中以防止贪婪捕获。

这是你想要达到的目标吗？

Answer 2

我使用的正则表达式如下

^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+-]\\d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]+)\" \"(.+?)\"

您可以参考this链接来了解apache日志文件解析的功能，并且还有使用java解析apache日志文件的代码。希望您能找到满意的解决方案

Apache访问日志正则表达式解析

2 个答案: