Question

我需要帮助从我的siem获取日志事件并将它们处理成可以被摄入hadoop以进行进一步处理的csv文件。以下是来自siem的样品和所需的结果。我在python工作，但我不像我需要的那样经验丰富。

Apr 22 11:52:28 siem <159>Apr 22 11:55:26 10.1.1.10 LEEF:1.0|Websense|Security|7.7.3|transaction:permitted|sev=1       cat=9   usrName=LDAP://10.10.10.10 OU=Standard Users,OU=Users,OU=Frostbyte Falls,OU=Frostbyte - QSD,OU=CDG,OU=North America,DC=Global,DC=bullwinke,DC=com/Mr. Moose  src=10.1.10.10        srcPort=62133   srcBytes=233    dstBytes=39469  dst=165.254.42.233   dstPort=80  proxyStatus-code=200    serverStatus-code=304   duration=0 method=GET       disposition=1048  contentType=application/zip     reason=-        policy=role-8**US Frostbyte        role=8  userAgent=IPM url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip

Hive列定义：日期时间logsource用户srcIP srcPort dstIP dstPort方法有效负载

csv中的欲望格式：

Apr 22, 11:55:26, 10.1.1.10, Mr. Moose, 10.1.10.10, 62133, 165.254.42.233, 80, GET, url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip

思想？

此致

Answer 1

我同意Peter Varo的意见，如果可能的话，你可能想要使用更好的格式。但是如果你必须解析由其他东西产生的数据......那么，你必须解析它。

如果你想通过正则表达式来做，我强烈建议要么匹配整行，要么逐行解析，而不是收集所有日期，然后是所有时间，等等。例如：

import csv
import re

r = re.compile(r'''(?x)
                >(?P<date>\w\w\w\s\d\d) \s
                (?P<time>\d\d:\d\d:\d\d) \s
                (?P<logsource>\d+\.\d+\.\d+\.\d+) \s
                .*?
                DC=com/(?P<user>.*?) \s+
                src=(?P<srcIP>\d+\.\d+\.\d+\.\d+) \s+
                srcPort=(?P<srcPort>\d+) \s+ .*?
                dst=(?P<dstIP>\d+\.\d+\.\d+\.\d+) \s+
                dstPort=(?P<dstPort>\d+) \s+ .*?
                method=(?P<method>\w+) \s+ .*?
                url=(?P<url>.*(?!\s))
                ''')

with open(logpath) as logfile, open(csvpath, 'w') as csvfile:
    csv.writer(csvfile).writerows(r.findall(logfile))

但是，您的日志格式似乎是一个明确定义的格式，其中包含在另一个内部的另一个内部。换句话说，你有一个典型的syslog格式TIMESTAMP SOURCE <PID>MESSAGE，然后MESSAGE是某种东西，中间有一个LDAP URL，依此类推。至少有一些这些东西有着名的正则表达式（或其他解析器），那么为什么要从头开始编写它们呢？

Answer 2

首先：你应该选择一个更好的序列化输出，因为在这种情况下字符串处理非常 dangeroues ，并且也没有你想要的效果。

但是，我为你的问题制作了一些正则表达式，这些都是列表，但我想从那里你可以决定你想要访问的方式和字符串数据，你可以随时','.join(<list here>)最后用逗号来加入列表中的项目。

但正如我上面提到的，我不建议您使用此解决方案，您应该以不同的方式捕获此数据。

import re

string = 'Apr 22 11:52:28 siem <159>Apr 22 11:55:26 10.1.1.10 LEEF:1.0|Websense|Security|7.7.3|transaction:permitted|sev=1       cat=9   usrName=LDAP://10.10.10.10 OU=Standard Users,OU=Users,OU=Frostbyte Falls,OU=Frostbyte - QSD,OU=CDG,OU=North America,DC=Global,DC=bullwinke,DC=com/Mr. Moose  src=10.1.10.10        srcPort=62133   srcBytes=233    dstBytes=39469  dst=165.254.42.233   dstPort=80  proxyStatus-code=200    serverStatus-code=304   duration=0 method=GET       disposition=1048  contentType=application/zip     reason=-        policy=role-8**US Frostbyte        role=8  userAgent=IPM url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip'

dates = re.findall(r'(\w+)\s(\d+)\s(\d+:\d+:\d+)\s', string)
ip = re.findall(r'\d+\.\d+\.\d+\.\d+', string)
url = re.findall(r'url=.*(?!\s)', string)
dstport = re.findall(r'dstPort=(\d+)', string)
srcport = re.findall(r'srcPort=(\d+)', string)
method = re.findall(r'method=(\w+)\s', string)
user = re.findall(r'DC=com/(.*)\ssrc=', string)

print dates, ip, url, dstport, srcport, method, user

使用python处理syslog输出到csv

2 个答案: