Question

我试图从archive.org archive获取推特数据并将其加载到数据库中。我试图在特定月份首先加载所有推文，然后选择推文，并仅展示我感兴趣的那些（例如通过locale或hashtag）。

我可以运行下面描述的脚本来完成我正在寻找的东西，但我遇到的问题是它非常慢。它运行了大约半小时，只读取了一个TAR文件中的~6 / 50,000内部.bz2文件。

示例TAR文件的一些统计信息：

总大小：~30-40GB
内部.bz2文件的数量（排列在文件夹中）：50,000
一个.bz2文件的大小：~600kb
一个提取的JSON文件的大小：~5 MB，~3600个推文。

在优化此流程以提高速度时，我应该注意什么？

我应该将文件解压缩到磁盘而不是用Python缓冲它们吗？
我应该看看多线程的一部分过程吗？该过程的哪一部分最适合这个？
或者，我目前获得的速度是否相对正常？

该脚本目前占用了我3％的CPU和约6％的RAM内存。

非常感谢任何帮助。

import tarfile
import dataset # Using dataset as I'm still iteratively developing the table structure(s)
import json
import datetime


def scrape_tar_contents(filename):
    """Iterates over an input TAR filename, retrieving each .bz2 container:
       extracts & retrieves JSON contents; stores JSON contents in a postgreSQL database"""
    tar = tarfile.open(filename, 'r')
    inner_files = [filename for filename in tar.getnames() if filename.endswith('.bz2')]

    num_bz2_files = len(inner_files)
    bz2_count = 1
    print('Starting work on file... ' + filename[-20:])
    for bz2_filename in inner_files: # Loop over all files in the TAR archive
        print('Starting work on inner file... ' + bz2_filename[-20:] + ': ' + str(bz2_count) + '/' + str(num_bz2_files))
        t_extract = tar.extractfile(bz2_filename)
        data = t_extract.read()
        txt = bz2.decompress(data)

        tweet_errors = 0
        current_line = 1
        num_lines = len(txt.split('\n'))
        for line in txt.split('\n'):  # Loop over the lines in the resulting text file.
            if current_line % 100 == 0:
                print('Working on line ' + str(current_line) + '/' + str(num_lines))
                try:
                    tweet = json.loads(line)
                except ValueError, e:
                    error_log = {'Date_time': datetime.datetime.now(),
                                'File_TAR': filename,
                                'File_BZ2': bz2_filename,
                                'Line_number': current_line,
                                'Line': line,
                                'Error': str(e)}
                    tweet_errors += 1
                    db['error_log'].upsert(error_log, ['File_TAR', 'File_BZ2', 'Line_number'])
                    print('Error occured, now at ' + str(tweet_errors))
                try:
                    tweet_id = tweet['id']
                    tweet_text = tweet['text']
                    tweet_locale = tweet['lang']
                    created_at = tweet['created_at']
                    tweet_json = tweet
                    data = {'tweet_id': tweet_id,
                            'tweet_text': tweet_text,
                            'tweet_locale': tweet_locale,
                            'created_at_str': created_at,
                            'date_loaded': datetime.datetime.now(),
                            'tweet_json': tweet_json}
                    db['tweets'].upsert(data, ['tweet_id'])
                except KeyError, e:
                    error_log = {'Date_time': datetime.datetime.now(),
                                'File_TAR': filename,
                                'File_BZ2': bz2_filename,
                                'Line_number': current_line,
                                'Line': line,
                                'Error': str(e)}
                    tweet_errors += 1
                    db['error_log'].upsert(error_log, ['File_TAR', 'File_BZ2', 'Line_number'])
                    print('Error occured, now at ' + str(tweet_errors))
                    continue

if __name__ == "__main__":
    with open("postgresConnecString.txt", 'r') as f:
        db_connectionstring = f.readline()
    db = dataset.connect(db_connectionstring)

    filename = r'H:/Twitter datastream/Sourcefiles/archiveteam-twitter-stream-2013-01.tar'
    scrape_tar_contents(filename)

Answer 1

tar文件不包含文件所在位置的索引。此外，tar文件可以包含more than one copy of the same file。因此，当您提取一个文件时，必须读取整个tar文件。即使在找到该文件之后，仍然必须读取其余的tar文件以检查是否存在以后的副本。

这使得提取一个文件与提取所有文件一样昂贵。

因此，永远不要在大型tar文件上使用tar.extractfile(...)（除非您只需要一个文件或没有空间来提取所有内容）。

如果你有空间（并给出了现代硬盘的大小，你几乎可以肯定），用tar.extractall或系统调用[{1}}提取所有内容，然后处理提取的内容文件。

如何使用BZ2 JSON twitter文件有效地读取大型（30GB +）TAR文件到PostgreSQL中

1 个答案: