Python,gevent,urllib2.urlopen.read(),下载加速器

时间:2012-01-26 01:46:06

标签: python linux multithreading urllib2 gevent

我正在尝试为Linux构建下载加速器。我的程序使用gevent,os和urllib2。我的程序收到一个URL并尝试同时下载该文件。我的所有代码都有效。我唯一的问题是urllib2.urlopen.read()阻止我同时运行.read()函数。

这是我的例外。

Traceback (most recent call last):
File "/usr/lib/pymodules/python2.7/gevent/greenlet.py", line 405, in run
result = self._run(*self.args, **self.kwargs)
File "gevent_concurrent_downloader.py", line 94, in childTasklet
_tempRead = handle.read(divisor) # Read/Download part
File "/usr/lib/python2.7/socket.py", line 380, in read
data = self._sock.recv(left)
File "/usr/lib/python2.7/httplib.py", line 561, in read
s = self.fp.read(amt)
File "/usr/lib/python2.7/socket.py", line 380, in read
data = self._sock.recv(left)
File "/usr/lib/pymodules/python2.7/gevent/socket.py", line 407, in recv
wait_read(sock.fileno(), timeout=self.timeout, event=self._read_event)
File "/usr/lib/pymodules/python2.7/gevent/socket.py", line 153, in wait_read
assert event.arg is None, 'This event is already used by another greenlet: %r' % (event.arg, )
AssertionError: This event is already used by another greenlet: (<Greenlet at 0x2304958: childTasklet(<__main__.NewFile object at 0x22c4390>, 4595517, <addinfourl at 37154616 whose fp = <socket._fileob, 459551, 1)>, timeout('timed out',))
<Greenlet at 0x2304ea8: childTasklet(<__main__.NewFile object at 0x22c4390>,4595517, <addinfourl at 37154616 whose fp = <socket._fileob, 7, -1)failed with AssertionError

我的程序通过调用以下方式从URL获取文件字节大小:

urllib2.urlopen(URL).info().get("Content-Length") 

并将文件大小除以除数,从而将下载过程分解为多个部分。在这个例子中,我将下载分为10个部分。

每个greenlet都会在这个激情中运行一个命令:

urllib2.urlopen(URL).read(offset)

以下是我在牧师上托管的代码的链接http://pastie.org/3253705

感谢您的帮助!

仅供参考:我在Ubuntu 11.10上运行。

2 个答案:

答案 0 :(得分:2)

您正在尝试阅读来自不同greenlet的单个请求的响应。

如果您想使用多个并发连接下载相同的文件,那么如果服务器支持它,您可以使用Range http header(对于请求,您获得206状态而不是200范围标题)。请参阅HTTPRangeHandler

答案 1 :(得分:1)

read的参数是多个字节,而不是偏移量。

似乎gevent会让你异步调用urllib,但不允许你从多个greenlet访问相同的资源。

此外,由于它正在使用wait_read,因此效果仍将是从文件中同步,顺序读取(与您想要实现的完全相反)。

我建议您可能需要低于urllib2,或使用urllib2中的其他库。