我正在制作一个可用于所有电子商务网站的抓取工具。目前，我正在以下网站上测试我的抓取工具。
单独地，我成功地抓取了所有四个网站，但是当我制作一般抓取工具时，我无法弄清楚如何显示更多产品。例如
在link 1中，我需要点击显示更多结果才能显示更多产品。
在link 2中，我需要按加载更多以显示更多产品。
在link 3中，我只需向下滚动即可获得更多产品
在link 4 ，按下下一个按钮以获得更多产品。
每个网站都有不同的按钮类/标签，那么如何按下按钮或向下滚动呢？
最初我已经开始使用Selenium但是没有必要，如果任何其他模块比硒更好，我很乐意使用它。
答案 0 :(得分：0)
Scrapy实际上无法正常工作，因为您尝试与javascript进行交互。你会想要坚持使用硒。 firefox有一个selenium插件，允许你在浏览器上记录你的动作，然后将它导出到python中。所以点击，加载和滚动都没问题。
要获取插件，请按照以下说明操作... http://www.wikihow.com/Download-Selenium-IDE-Addon