Python Requests Library - Chunked Data& iter_lines

时间:2013-03-14 05:02:45

标签: python python-requests

此处的任何人都有使用分块数据编码的请求和HTTP流式传输。

我想知道Requests本身是否知道服务器提供的块大小,并将其在requests.iter_lines()中用作块大小。我发现如果我减少默认块大小,它处理速度更快,但是与服务器发回的内容有任何关联,我不应该在设置它时进行修改。请注意,我正在实时从DataSift中获取社交数据,并最终将它们标准化。

代码是:

#!/usr/bin/env python

import requests
import json


headers={'Auth': 'username:api_key'}
r = requests.get('http://stream.datasift.com/988098098sd09fsd89fsd0f7',headers=headers, stream=True)

for line in r.iter_lines(chunk_size=128):
    if line: 
        print line

1 个答案:

答案 0 :(得分:2)

查看源代码(models.py行53131),预先配置的512值只是一个“理智的默认值”。