一个主要杂货连锁店的网站似乎阻止了我的网络抓取者收集网页上的信息

Question

我正在尝试使用Watir从https://www.kroger.com/cl/coupons/的信息中抓取，但是当我收到此消息时，收到消息“访问被拒绝，您无权访问此服务器上的“ http://www.smithsfoodanddrug.com/cl/coupons/”。 ＃18.f6ddedcc.1546972451.30a85f8f“

我看过其他网站，这些网站可能也有我想要的信息，但它似乎不是最新的。

def save
    require 'watir'

    @browser = Watir::Browser.new :chrome, headless: true
    @browser.goto "https://www.smithsfoodanddrug.com/cl/coupons/"
    sleep 5
    @divs = @browser.divs
    @spans = @browser.spans
    @body = @browser.body
end

我的预期结果是，我将从网页上看到优惠券，就好像您要使用普通浏览器访问该网站一样。

Answer 1

他们似乎正在阻止自动访问其网站。您甚至无法卷曲他们的网站。