我正在使用Tweepy(一个Python Twitter API库)从Twitter接收大量数据流。我想要做的是压缩收到的推文流并将其存储在文件中。
压缩必须是LZO,我不想使用Linux管道进行压缩。我想直接从Python代码中使用LZO。使用Linux管道我可以做到:
Python downloader.py | lzop -c > output.json.lzo
但我不想使用管道,并希望在Python脚本下载器中压缩流。
我找不到任何Python库或示例代码来使用LZO压缩流数据。
答案 0 :(得分:2)
两个选项:
使用library。
如果由于某种原因您无法使用该库,则以下代码与您编写的代码相同:
from subprocess import Popen, PIPE, STDOUT
p = Popen(['lzop', '-c'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)
result_stdout = p.communicate(input=json.dump(results))[0]