Scrapy-使用网站的搜索引擎来抓取结果

Question

我必须仔细查看网站上的搜索结果。事实是，当您在该站点上搜索内容时，URL不会更改，这意味着我无法使用该URL来获得想要的结果。

我的问题是，Scrapy可以设置我需要的过滤器，搜索结果，然后遍历所有搜索结果吗？

如果是，怎么办？如果不是，您是否知道可以使用Python或其他方法做到这一点？

谢谢

Answer 1

如果搜索词未反映在URL中，则表示它作为POST请求发送到服务器。这意味着您的Scrapy代码还需要发出POST请求才能提交所需的搜索词。

Scrapy request documentation包含用于进行POST请求，模拟表单提交的示例：

return [FormRequest(url="http://www.example.com/post/action",
                formdata={'name': 'John Doe', 'age': '27'},
                callback=self.after_post)]