网站抓取-处理非致命错误

时间:2019-03-18 14:22:22

标签: python exception web-scraping beautifulsoup

使用网页抓取工具(bs4,硒),想知道是否有更好的方法来处理不是致命的异常(即在异常发生后继续运行)。

对于每个属性,我的代码中都有很多个尝试例外,我想集中说明该逻辑。

注意productDetails是ProductDetails的实例,该实例具有setter和getter python属性。我曾考虑过将除外逻辑放入设置器中,但那时为时已晚,因为请求必须先获取值。

try:
    productDetails.image = soup.find("meta", property="og:image")[
except:
    productDetails.url_valid = False
    continue

1 个答案:

答案 0 :(得分:1)

错误绝不能默默传递。 我建议您显式处理所有异常。最后,避免在setter或getter方法中放入except逻辑。