Question

我对使用Selenium进行Web爬虫很陌生。我看了这个网页： https://www.globes.co.il/news/article.aspx?did=1001285710

我向下滚动到结尾，然后在控制台中运行以下JS代码：

[].slice.call(document.getElementsByTagName("iframe")).map((iframe) => {
if (iframe.src) { 
    return iframe.src;
} else {
    return "";
}})

我得到了路径列表。一种途径是： “ https://spoxy-shard2.spot.im/v2/spot/ .....”

我尝试使用Selenium驱动程序“模仿” Python的这种行为。我编写了以下代码：

options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless')
driver = webdriver.Chrome("C:\\Program Files\\chromedriver\\chromedriver.exe", options=options)

driver.get("https://www.globes.co.il/news/article.aspx?did=1001285710")  
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")  
iframes = driver.find_elements_by_tag_name("iframe")
print('\n'.join([iframe.get_attribute('src') for iframe in iframes if iframe.get_attribute('src') is not None]))

但是，我没有得到路径“ https://spoxy-shard2.spot.im/v2/spot/ .....” 在此列表中。

你知道为什么吗？

硒：向下滚动并捕获所有iframe不起作用

0 个答案: