如何有效地将SQL日志转换为CSV?

时间:2018-04-29 21:26:02

标签: python pandas csv parsing

我有一个大约5GB的SQL .log文件。它是由客户提供的,所以我不想让他们以不同的格式为我导出它。它具有以下结构:

Header 1 Header 2 Header 3 Header 4
-------- -------- -------- --------
value a  value 1  value 2  value 3
value a  value 4  value 5  value 6
value b  value 7  value 8  value 9

Header 1 Header 2 Header 3 Header 4
-------- -------- -------- --------
value b  value 10  value 11  value 12
value b  value 13  value 14  value 15
value b  value 16  value 17  value 18

我尝试通过将其转换为.txt分别读取每一行来解析它,处理它然后通过执行以下操作继续下一行:

with open(filename) as infile:
    for line in infile:

有更有效的方法吗?有没有办法直接将.log文件转换为pandas数据框?

提前致谢!

0 个答案:

没有答案