Python线程stack_size和segfaults

Question

一个网络抓取工具脚本，最多可生成500个线程，每个线程基本上都会请求从远程服务器提供的某些数据，每个服务器的回复内容和大小与其他服务器不同。

我将stack_size设置为756K的线程

threading.stack_size(756*1024)

这使我能够拥有足够数量的线程并完成大部分作业和请求。但是由于某些服务器的响应比其他服务器更大，并且当线程得到那种响应时，脚本会死于SIGSEGV。

stack_sizes超过756K使得无法同时拥有所需数量的线程。

有关如何在没有崩溃的情况下继续使用给定的stack_size的任何建议？ 以及如何获得任何给定线程的当前使用的stack_size？

Answer 1

为什么你在地球上产生500个线程？这似乎是个糟糕的主意！

完全删除线程，使用事件循环进行爬网。您的程序将更快，更简单，更易于维护。

等待网络的大量线程不会使您的程序等待更快。相反，收集列表中的所有打开的套接字并运行一个循环，在其中检查是否有任何数据可用。

我建议使用Twisted - 它是一个事件驱动的网络引擎。它非常灵活，安全，可扩展且非常稳定（没有段错误）。

您还可以查看Scrapy - 这是一个用Python / Twisted编写的网页抓取和屏幕抓取框架。它仍处于重大发展阶段，但也许你可以采取一些想法。