我有一个大约5GB的SQL .log文件。它是由客户提供的,所以我不想让他们以不同的格式为我导出它。它具有以下结构:
Header 1 Header 2 Header 3 Header 4
-------- -------- -------- --------
value a value 1 value 2 value 3
value a value 4 value 5 value 6
value b value 7 value 8 value 9
Header 1 Header 2 Header 3 Header 4
-------- -------- -------- --------
value b value 10 value 11 value 12
value b value 13 value 14 value 15
value b value 16 value 17 value 18
我尝试通过将其转换为.txt分别读取每一行来解析它,处理它然后通过执行以下操作继续下一行:
with open(filename) as infile:
for line in infile:
有更有效的方法吗?有没有办法直接将.log文件转换为pandas数据框?
提前致谢!