Python尝试除硒网络抓取外

时间:2020-06-10 19:16:58

标签: selenium web-scraping find

当我刮取每页中的产品时,我无法获取下一页。 当产品类别中有很多商品(和很多页面)时,我的页面来源如下:

>> nslookup <cluster_name>-pri.crum0.gcp.mongodb.net
Server:     8.8.8.8
Address:    8.8.8.8#53

Non-authoritative answer:
*** Can't find <cluster_name>-pri.crum0.gcp.mongodb.net: No answer

当产品类别中的商品很少(页面很少)时,我的页面来源如下:

<div class="paging-numbers">
 <span class="paging-active-number">1</span>
 <a title="one-page 2" href="/one-page-2.bhtml" class="paging-number">2</a>
 <a title="one-page 3" href="/one-page-3.bhtml" class="paging-number">3</a>
 <a title="one-page 4" href="/one-page-4.bhtml" class="paging-number">4</a>
 <span class="dots-paging">...</span>
 <a title="one-page 10" href="/one-page-10.bhtml" class="paging-number">10</a>
 </div>
 <a title="one-page 2" class="paging-next" href="/one-page-2.bhtml">Next</a>

当然,在某些情况下,我的产品类别也只有一页。

如何在硒中包含所有这些条件?没有任何按钮“下一个”(第二个说明)时如何获得下一页?

对于第一种情况,我有一些代码:

<div class="paging-numbers">
 <span class="paging-active-number">1</span>
 <a title="one-page 2" href="/one-page-2.bhtml" class="paging-number">2</a>
 <a title="one-page 3" href="/one-page-3.bhtml" class="paging-number">3</a>

“ paging-active-number”类是指我所在的当前页面。

0 个答案:

没有答案