Python从最后读取文件,它是一个大文件,无法读入内存

时间:2013-10-16 02:02:12

标签: python file logging

如何从DESC末尾的文件中读取文件? 例如

文件名:测试

含量:

11111111
22222222
333333333

fp = open('test', 'r')
print fp.readline

333333333
22222222
11111111

它是一个大文件,我不想读出所有内容。

3 个答案:

答案 0 :(得分:1)

而不是阅读线从最后的相对整洁的过程,

你可以使用reverse()函数如下..

with open(filename, 'r') as fheader:  
    for line in reversed(fheader.readlines()):  
         print line 

希望这有帮助:)

答案 1 :(得分:0)

for x in open(r'C:\test.txt').readlines()[::-1]:
    print x

答案 2 :(得分:0)

几个月前我们在China Python User Group讨论了同样的问题。从我们的讨论中复制了一些答案。

无论你选择什么解决方案,基本都是一样的:寻找到文件的末尾,读取一个数据块,找到最后一个断路器(\ r \ n或\ n),得到最后一行,寻求向后,并一次又一次地做同样的事情。

您可以尝试使用tail -n预处理文件,它是高效的(在C中实现)并且专为此作业而设计。 如果您想自己实施,请查看source code

或在Python中调用相同的命令:

from subprocess import Popen, PIPE
txt = Popen(['tail', '-n%d' % n, filename], stdout=PIPE).communitate()[0]
;)

或尝试纯python解决方案:

def last_lines(filename, lines = 1):
    #print the last several line(s) of a text file
    """
    Argument filename is the name of the file to print.
    Argument lines is the number of lines to print from last. 
    """
    block_size = 1024
    block = ''
    nl_count = 0
    start = 0
    fsock = file(filename, 'rU')
    try:
        #seek to end
        fsock.seek(0, 2)
        #get seek position 
        curpos = fsock.tell()
        while(curpos > 0): #while not BOF
            #seek ahead block_size+the length of last read block
            curpos -= (block_size + len(block));
            if curpos < 0: curpos = 0 
            fsock.seek(curpos)
            #read to end
            block = fsock.read()
            nl_count = block.count('\n')
            #if read enough(more)
            if nl_count >= lines: break 
        #get the exact start position
        for n in range(nl_count-lines+1):
            start = block.find('\n', start)+1 
    finally:        
        fsock.close()
    #print it out  
    print block[start:] 

if __name__ == '__main__':
    import sys
    last_lines(sys.argv[0], 5) #print the last 5 lines of THIS file