如何使用python gevent读取文本文件

Question

我试图用python读取nginx日志文件，但日志文件太大了。

我可以按gevent阅读文件吗？

BTW，日志文件有一百万行 我可以将数据存储到mysql和pysqml api？

Answer 1

我发布评论作为答案只是为了说明我的意思：为什么不逐行阅读文件并随时插入数据？

import pymysql
conn = pymysql.connect(host='localhost', port=####, user='userid', passwd='password', db='db')
cursor = cur = conn.cursor()
insert_cmd = "INSERT INTO logs (param1, param2, param3...) VALUES (%s, %s, %s...)"
with open('logfile.log', 'r') as log:
    for row in log:
        cursor.execute(insert_cmd, tuple(row))
conn.commit()