如何用一只蜘蛛刮擦多个网站（100,000个）？

Question

我想创建一个抓取应用程序来抓取多个网站。请引导我

Answer 1

您最好的选择是asyncio和aiohttp。以下是一些您可能会觉得有用的资源：

• Making 1 million requests with python-aiohttp
• Making 100 million requests with Python aiohttp
• Efficient web-scraping with Python’s asynchronous programming

让我还请注意，当您陷入某个已设置的问题中时，应该将StackOverflow用作资源，而不是问那些易于Google处理的问题。

Answer 2

通过一些网站创建基础Spider来开始工作的最佳方法。然后尝试通过向多个网站添加兼容性来概括代码。

创建适当的项目结构以在python中使用DRY原理。