如何使用Python解析无限滚动页面（例如Wallbase.cc/search/sky）？

Question

不确定是否有任何可能有帮助的Mechanize或BeautifulSoup。任何建议将不胜感激！

Answer 1

机械化和美丽的汤不能与用于无限滚动的javascript相互接触。

硒可以。

此外，如果您在使用无限滚动时查看ajax请求，您会看到带有请求数据的http://wallbase.cc/search/160发布请求：

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

160对应于图像范围，因此之前的请求为wallbase.cc/searc/128。