我使用谷歌云平台(Debian linux)运行硒来抓取动态数据。前几千个数据是正常的,但此后无法捕获数据,也没有错误。为什么RAM到60%会损坏,而数据全部丢失!我该怎么办?谢谢!
部分代码:
for i in job_id:
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
browser = webdriver.Chrome(executable_path=ChromeDriverManager().install(),options=chrome_options)
browser.implicitly_wait(10)
browser.get('example.website.com')`