以下GoogleScraper错误是什么意思? '-找不到下一页元素'

时间:2019-03-27 16:55:59

标签: python-3.x web-scraping

嗨,我是webscrapping的新手,最近我正尝试使用GoogleScraper来websrcap。

我为配置文件设置了以下参数:

config = {
'use_own_ip': True,
'search_engines': ['google'],
'num_pages_for_keyword': 10,
'scrape_method': 'selenium',
'do_caching' : False,
'sel_browser': 'chrome',
'google_search_url' : 'https://www.google.com/search?',
'browser_mode' : 'headless',
'num_results_per_page' : 10,
}

据我了解,我要求每个关键字10页。运行剪贴脚本时,出现以下错误:

'[[Thread-7]-2019-03-28 00:44:46,486-GoogleScraper.selenium_mode-警告-线程7:找不到下一页元素'

这是否意味着搜索在第7页停止?如何避免此错误?

0 个答案:

没有答案