Scrapy-拒绝规则被忽略

时间:2020-07-22 15:00:29

标签: python scrapy

在我的网络爬虫项目中,我有这样的链接:

page

我尝试通过在拒绝规则中添加“ DATE =“来过滤掉这些链接:

var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(20));
wait.IgnoreExceptionTypes(typeof(NoSuchElementException), typeof(NoSuchWindowException));
wait.Until(d=> ((IJavaScriptExecutor)driver).ExecuteScript("return document.readyState").Equals("complete"));

但是,就像也使用“ NOTATION =”一样,这些站点仍会被爬网,但是过滤似乎可以对“ popup_times ...”字符串起作用。

我在做什么错了?

0 个答案:

没有答案