硒刮刮多件物品

时间:2020-03-01 10:27:55

标签: screen-scraping

我正在尝试从网站上为记者撰写多篇文章。我正在使用Selenium和美丽的汤,我设法在第一个网页上抓取了所有文章,但是我无法单击“下一页”来抓取其余文章。我使用此代码转到下一页:

while True:
try:
    time.sleep(1)
    show_more = wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'addPage')))
    show_more.click()
except Exception as e:
        print(e)
        break

我收到以下错误:

未知错误:元素<a href="" rel="nofollow" class="addPage">...</a> is not clickable at point (230, 855).其他元素将获得点击:<div class="cookie cookie--visible" style="display: block;">...</div>

所以我想我需要阻止cookie到达那里。我的编码是使用Python,浏览器是Chrome。 webdriver.Chrome中有一个参数,我可以通过它阻止cookie。有人可以帮忙吗?

0 个答案:

没有答案