我有一个解析IIS日志的脚本，目前它使用split逐个获取日志行，将IIS字段值放入多个变量中，如下所示：
date, time, sitename, ip, uri_stem, whatever = log_line.split(" ")
并且，它适用于默认设置。但是，如果其他人使用不同的日志字段布局（不同的顺序，或不同的日志字段，或两者），他将不得不去找到源代码中的这一行并进行修改。这个人还必须知道如何修改它以便没有任何中断，因为很明显这些变量将在后面的代码中使用。
我怎样才能使这种更通用的方式有某种类型的列表，其中包含用户可以修改的IIS日志字段布局（配置变量或脚本开头的字典/列表）以后会用来保存日志行值吗？这就是我所考虑的 - “动态”。我在考虑使用for循环和字典来做到这一点，但我想它与使用split（）相比会对性能产生很大的影响，或者不是吗？有没有人建议如何/应该如何做？
是否值得麻烦，或者我应该只为使用脚本的人做一个注释，在哪里更改包含log_line.split（）的代码行，如何做以及要注意什么？
谢谢。
答案 0 :(得分：1)
更改日志行布局是一件非常重要的事情，但由于添加了新项目或删除了现有项目，因此会不时完成。很少有人只是简单地将现有物品随意移动。
这种变化不会每天都发生;它们应该非常罕见。当您添加或删除日志中的项目时，您仍在更改代码 - 毕竟，必须以某种方式处理新字段，并且必须删除处理任何已删除字段的代码。
是的，编写弹性代码是一件好事。将模式映射字段名称定义到它们在日志行中的位置可能看起来是一个好主意，因为它允许重新洗牌并添加挖掘到一条分割线。但是，每年发生两次的架构更改是否值得？当还有许多其他线路必须改变时，是否值得阻止改变一条线？那是由你来决定的。
也就是说，如果您想要这样做，请考虑使用collections.namedtuple将您的行处理为类似dict的对象。名称的规范可以在代码的配置区域中完成。这样做你会受到性能影响，所以要权衡灵活性的增益......
答案 1 :(得分：1)
如果只有字段的顺序可能不同，则可以处理每行的验证并自动调整信息提取到检测到的顺序。
我认为在正则表达式的帮助下这样做很容易。
如果不仅顺序，而且字段的数量和性质可能会有所不同，我认为仍然可以这样做，但条件是事先知道可能的字段。
常见的情况是，这些领域必须具有足够强大的“个性”才能轻易区分
没有更准确的信息，没有人可以走得更远，IMO
spilp.py 中似乎有错误：
它一定是
with codecs.open(file_path, 'r', encoding='utf-8', errors='ignore') as log_lines:
不
with open(file_path, 'r', encoding='utf-8', errors='ignore') as log_lines:
后者使用内置的 open（），其中没有相关的关键字
目前，在示例文件中，字段按以下顺序排列：
日期
时间
S-网站名称
S-IP
CS-方法
CS-URI干
CS-URI查询
运动 CS-用户名
C-IP
CS（用户代理）
SC-状态
SC-子状态
SC-Win 32的状态
假设您想按以下顺序提取每一行的值：
S端口
时间
日期
S-网站名称
S-IP
CS（用户代理）
SC-状态
SC-子状态
SC-win32的状态
C-IP
CS-用户名
CS-方法
CS-URI干 CS-URI的查询
以相同的顺序将它们分配给以下标识符：
s_port
时间
日期
s_sitename
s_ip
cs_user_agent
sc_status
sc_substatus
sc_win32_status
c_ip
cs_username
cs_method
cs_uri_stem
cs_uri_query
操作
s_port,
time, date,
s_sitename, s_ip,
cs_user_agent, sc_status, sc_substatus, sc_win32_status,
c_ip,
cs_username,
cs_method, cs_uri_stem, cs_uri_query = line_spliter(line)
使用函数 line_spliter（）
我知道，我知道，你想要的是相反的：按照目前文件中的顺序恢复文件中读取的值，以防文件的顺序与通用文件的顺序不同。
但我仅以此为例，目的是让样本文件保持原样。否则，我需要创建一个具有不同值顺序的其他文件来公开示例。
无论如何，算法不依赖于示例。它取决于所需的顺序，在该顺序中，定义必须获得的值的连续以进行正确的分配。
在我的代码中，使用 ref_fields
对象设置了所需的顺序我认为我的代码及其执行是为了理解原则。
import re
ref_fields = ['s-port',
'time','date',
's-sitename', 's-ip',
'cs(User-Agent)', 'sc-status',
'sc-substatus', 'sc-win32-status',
'c-ip',
'cs-username',
'cs-method', 'cs-uri-stem', 'cs-uri-query']
print 'REF_FIELDS :\n------------\n%s\n' % '\n'.join(ref_fields)
############################################
file_path = 'I:\\sample[1].log' # Path to put here
############################################
with open(file_path, 'r') as log_lines:
line = ''
while line[0:8]!='#Fields:':
line = next(log_lines)
# At this point, line is the line containing the fields keywords
print 'line of the fields keywords:\n----------------------------\n%r\n' % line
found_fields = line.split()[1:]
len_found_fields = len(found_fields)
regex_extractor = re.compile('[ \t]+'.join(len_found_fields*['([^ \t]+)']))
print 'list found_fields of keywords in the file:\n------------------------------------------\n%s\n' % found_fields
print '\nfound_fields == ref_fields is ',found_fields == ref_fields
if found_fields == ref_fields:
print '\nNORMAL ORDER\n------------'
def line_spliter(line):
return line.split()
else:
the_order = [ found_fields.index(fild) + 1 for fild in ref_fields]
# the_order is the list of indexes localizing the elements of ref_fields
# in the order in which they succeed in the actual line of found fields keywords
print '\nSPECIAL ORDER\n-------------\nthe_order == %s\n\n\n======================' % the_order
def line_spliter(line):
return regex_extractor.match(line).group(*the_order)
for i in xrange(1):
line = next(log_lines)
(s_port,
time, date,
s_sitename, s_ip,
cs_user_agent, sc_status, sc_substatus, sc_win32_status,
c_ip,
cs_username,
cs_method, cs_uri_stem, cs_uri_query) = line_spliter(line)
print ('LINE :\n------\n'
'%s\n'
'SPLIT LINE :\n--------------\n'
'%s\n\n'
'REORDERED SPLIT LINE :\n-------------------------\n'
'%s\n\n'
'EXAMPLE OF SOME CORRECT BINDINGS OBTAINED :\n-------------------------------------------\n'
'date == %s\n'
'time == %s\n'
's_port == %s\n'
'c_ip == %s\n\n'
'======================') % (line,'\n'.join(line.split()),line_spliter(line),date,time,s_port,c_ip)
# ---- split each logline into multiple variables, populate dictionaries and db ---- #
def splitLogline(log_line):
# needs to be dynamic (for different logging setups)
s_port,
time, date,
s_sitename, s_ip,
cs_user_agent, sc_status, sc_substatus, sc_win32_status,
c_ip,
cs_username,
cs_method, cs_uri_stem, cs_uri_query = line_spliter(line)
结果
REF_FIELDS :
------------
s-port
time
date
s-sitename
s-ip
cs(User-Agent)
sc-status
sc-substatus
sc-win32-status
c-ip
cs-username
cs-method
cs-uri-stem
cs-uri-query
line of the fields keywords:
----------------------------
'#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status \n'
list found_fields of keywords in the file:
------------------------------------------
['date', 'time', 's-sitename', 's-ip', 'cs-method', 'cs-uri-stem', 'cs-uri-query', 's-port', 'cs-username', 'c-ip', 'cs(User-Agent)', 'sc-status', 'sc-substatus', 'sc-win32-status']
found_fields == ref_fields is False
SPECIAL ORDER
-------------
the_order == [8, 2, 1, 3, 4, 11, 12, 13, 14, 10, 9, 5, 6, 7]
======================
LINE :
------
2010-01-01 00:00:03 SITENAME 192.168.1.1 GET /news-views.aspx - 80 - 66.249.72.135 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 200 0 0
SPLIT LINE :
--------------
2010-01-01
00:00:03
SITENAME
192.168.1.1
GET
/news-views.aspx
-
80
-
66.249.72.135
Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
200
0
0
REORDERED SPLIT LINE :
-------------------------
('80', '00:00:03', '2010-01-01', 'SITENAME', '192.168.1.1', 'Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)', '200', '0', '0\n', '66.249.72.135', '-', 'GET', '/news-views.aspx', '-')
EXAMPLE OF SOME CORRECT BINDINGS OBTAINED :
-------------------------------------------
date == 2010-01-01
time == 00:00:03
s_port == 80
c_ip == 66.249.72.135
======================
此代码仅适用于文件中的字段被洗牌但与正常已知字段列表的编号相同的情况。
可能会发生其他情况，例如文件中的值少于已知和等待的字段。如果您需要更多这些其他案例的帮助，请说明可能发生的情况，我会尝试调整代码。
我想我会对我在 spilp.py 中快速阅读的代码做很多评论。我有空的时候会写下来的。