标签: python http mechanize urllib2
我正在编写一个脚本来抓取一些有趣的网页供以后研究,并且它以多线程方式编程。我注意到的问题是,无论我使用哪个库,例如mechanize或urllib2或urllib,都会在运行几个小时后挂起连接。我尝试过使用单独的超时选项以及socket.setdefaulttimeout选项,但没有任何效果。在两到三个小时后,它总是以20到30个挂起的连接结束。
mechanize
urllib2
urllib
socket.setdefaulttimeout
这让我很烦恼。有没有更好的方法来解决这个问题?我如何杀死这些连接?