网络抓取 coinmarketcap - 未获取所有数据

时间:2020-12-19 22:36:00

标签: python selenium selenium-webdriver web-scraping

我正在尝试从 coinmarketcap.com 收集数据,但是当我抓取网页的价格时,我只能检索前 11 个价格。我设法在第一页上获得了 100 个硬币名称(当然在 stackoverflow 上的某人的帮助下),但对于价格,我只得到了 11 个。我“检查”了来源,然后右键单击-> 复制 xpath。我看到价格包含 /currencies/硬币名称/市场,所以我使用“包含”。但是因为我错过了一些东西。


coin_name = [name.text for name in driver.find_elements_by_xpath('//td[3]/a[@class="cmc-link" and starts-with(@href, "/currencies/")]')]
print(coin_name)
print(len(coin_name))
price = [p.text for p in driver.find_elements_by_xpath('//td[4]/div/a[@class = "cmc-link" and contains(@href, "/markets/")]')]
print(price)
print(len(price))

print(len(coin_name)) 的输出为 100,print(len(price)) 的输出为 11

0 个答案:

没有答案