嗨,我是webscrapping的新手,最近我正尝试使用GoogleScraper来websrcap。
我为配置文件设置了以下参数:
config = {
'use_own_ip': True,
'search_engines': ['google'],
'num_pages_for_keyword': 10,
'scrape_method': 'selenium',
'do_caching' : False,
'sel_browser': 'chrome',
'google_search_url' : 'https://www.google.com/search?',
'browser_mode' : 'headless',
'num_results_per_page' : 10,
}
据我了解,我要求每个关键字10页。运行剪贴脚本时,出现以下错误:
'[[Thread-7]-2019-03-28 00:44:46,486-GoogleScraper.selenium_mode-警告-线程7:找不到下一页元素'
这是否意味着搜索在第7页停止?如何避免此错误?