例外，找不到元素？

Question

如果在抓取过程中，scrapy无法找到节点并从中提取数据？它会抛出异常并关闭刮板吗？或者，只为该项的属性存储空值？

我问这个是因为，在使用if语句提取之前，我想知道是否应该检查元素是否存在。

Answer 1

您可以使用try语句来处理异常，因此如果它没有找到您需要的内容，它将继续运行。这也适用于Selenium。

如果您不在代码中处理异常，则脚本将停止，但在scrapy的情况下，如果之前发出请求，则只有发现异常的线程将停止，其余的将继续运行。