Question

我想抓一些this page的文章。但是，当我向下滚动时，页面的项目通过Ajax加载。到目前为止，我一直在尝试模拟POST请求，但没有成功。以下是描述我的问题的代码片段。

List<LocalUser>

如果您运行代码，您可以看到它在首次加载页面时出现的相同20个项目将永远循环。因此，我使用FormRequest加载更多文章的意图是不正确的。关于什么是错的任何想法？

Answer 1

对不起。愚蠢的问题。我显然忘了使用回调。

yield scrapy.FormRequest(url = response.url, formdata = payload, dont_filter=True, callback = self.parse_cat)

现在我们实际上获得了第一个页面后的第二个页码。 Aaaaa我太蠢了。