Question

我需要抓住商品网站的评论数据，但是它的用户数据是分页的。每页的评论是10条，大约有100页。我该如何抓取所有这些？

My intention is to use the yield and Request method to crawl the "Next Page" link, and then using the Xpath to extract data. But I can't jump to the next page to extract the data.

以下是关于“下一页”链接的Html代码：

<div class="xs-pagebar clearfix">
     <div class="Pagecon">
          <div class="Pagenum">
               <a class="pre-page pre-disable">
               <a class="pre-page pre-disable">
               <span class="curpage">1</span>
               <a href="#" onclick="tosubmits(2):return false;">2</a>
               <a href="#" onclick="tosubmits(3);return false;">3</a>
               <span class="elli">...</span>
               <a href="#" class="next-page" onclick="tosubmits('2');return false;">Next Page</a>
               <a href="#" onclick="tosubmits('94');return false;">Final Page</a>
           </div>
     </div>
</div>

href="#"究竟是什么意思？

Answer 1

不幸的是，你无法用scrapy做到这一点。 href="#"是一个无法链接的锚链接（使其看起来像一个链接）。真正发生的是执行的javascript onclick处理程序。您需要有一个执行javascript的方法来为您的用例执行此操作。您可能需要查看Splinter来执行此操作。

使用scrapy获取“下一页”数据

1 个答案: