如何在Linux / Python / Tweepy环境中使用LZO压缩Twitter流?

时间:2016-05-07 01:47:52

标签: python linux tweepy twitter-streaming-api lzo

我正在使用Tweepy(一个Python Twitter API库)从Twitter接收大量数据流。我想要做的是压缩收到的推文流并将其存储在文件中。

压缩必须是LZO,我不想使用Linux管道进行压缩。我想直接从Python代码中使用LZO。使用Linux管道我可以做到:

Python downloader.py | lzop -c > output.json.lzo

但我不想使用管道,并希望在Python脚本下载器中压缩流。

我找不到任何Python库或示例代码来使用LZO压缩流数据。

1 个答案:

答案 0 :(得分:2)

两个选项:

  1. 使用library

  2. 如果由于某种原因您无法使用该库,则以下代码与您编写的代码相同:

    from subprocess import Popen, PIPE, STDOUT
    
    p = Popen(['lzop', '-c'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
    result_stdout = p.communicate(input=json.dump(results))[0]