如何使用无限自动滚动抓取页面?

时间:2013-07-15 19:36:35

标签: python web-crawler autoscroll

我想在自动下一页滚动的页面中抓取用户名(当您向下滚动时,它会显示更多结果)。假设我想在this page上获取所有用户名。知道怎么做吗?

1 个答案:

答案 0 :(得分:0)

当您滚动到该页面的末尾时,会向以下网址发出ajax请求:

http://tch578489.tch.quora.com/up/chan3-8882/updates?min_seq=27815516&channel=main-w-dep16-2927332319247211033

你想知道它是如何生成该URL并在那里提出请求,然后解析它。