打开我要抓取的网页后,Web抓取工具仅能运行几分钟

时间:2018-10-06 21:03:04

标签: python web-scraping beautifulsoup

以下是相关代码:

from bs4 import BeautifulSoup
from selenium import webdriver

item = 'https://steamcommunity.com/market/listings/730/AK-47%20%7C%20Redline%20%28Field-Tested%29'
driver = webdriver.Chrome()
driver.get(item)
res = driver.execute_script('return document.documentElement.outerHTML')
driver.quit()

soup = BeautifulSoup(res, 'lxml')
buyorder_table = soup.find('table', {'class': 'market_commodity_orders_table'})
print(buyorder_table)

当我正常运行此代码时,它将打印

None

但是,当我在浏览器中打开项目url,然后运行代码时,它将返回我想要的表(然后我有解析它的代码)。

我找到了this seemingly helpful article,但是我尝试使用内置的HTML解析器并且遇到了相同的问题,我认为这是本文中建议的解决方案。

有什么办法可以解决此问题?预先感谢。

1 个答案:

答案 0 :(得分:0)

我发现一则帖子似乎有答案,如果可以的话我会稍后更新

Trouble Parsing Text using BeautifulSoup and Python