我这样做是为了获取一些数据:
c = pycurl.Curl()
c.setopt(pycurl.ENCODING, 'gzip')
c.setopt(pycurl.URL, url)
c.setopt(pycurl.TIMEOUT, 10)
c.setopt(pycurl.FOLLOWLOCATION, True)
xml = StringIO()
c.setopt(pycurl.WRITEFUNCTION, xml.write )
c.perform()
c.close()
我的网址通常属于这种类型:
http://host/path/to/resource-foo.xml
通常我会回到302指向:
http://archive-host/path/to/resource-foo.xml.gz
鉴于我已经设置了FOLLOWLOCATION和ENCODING gzip,一切都很好。
问题是,有时我的URL不会导致重定向到gzip压缩资源。发生这种情况时,c.perform()
会抛出此错误:
pycurl.error: (61, 'Error while processing content unencoding: invalid block type')
对我来说,pycurl试图对一个没有压缩的资源进行枪杀。
我是否有某种方法可以指示pycurl找出响应编码,并在适当时使用gunzip?我一直在使用ENCODING
的不同值,但到目前为止还没有豆。
pycurl文档似乎有点缺乏。 :/
THX!
答案 0 :(得分:5)
如果最坏的情况发生,你可以省略ENCODING'gzip',将HTTPHEADER设置为{'Accept-Encoding':'gzip'},check the response headers为“Content-Encoding:gzip”,如果它存在,自己枪杀反应。