如何使用相同的爬虫爬网具有不同结构的页面？

Question

我是网络抓取的新手，我最近开始了一项工作，我需要抓取一些网站（大约300个）。我的问题是那些网站不遵循相同的结构，它们有不同的布局。所以，我需要做一个适用于所有人的通用爬虫。有人可以告诉我是否有可能使用scrapy进行，如果不可能推荐其他技术？

注意：我搜索并找到了这个解决方案How to crawl thousands of pages using scrapy?，但有人知道更好或更容易吗？