Question

我正在尝试使用ruby下载图像并发现有趣的问题

它是我的代码中下载图像的一部分（仅HTTP请求）：

HTTParty.get(url)

或搭配

Net::HTTP.new(URI.parse(url))

当我尝试从耐克公司下载图片时

url = 'https://c.static-nike.com/a/images/t_PDP_1728_v1/f_auto,b_rgb:f5f5f5/bfau7aauvleh5puvuiqa/zoom-pegasus-turbo-mens-running-shoe-Z163c3.jpg'

效果很好

但是由于某些原因，当我打开阿迪达斯时它会冻结：

url = 'https://www.adidas.com.sg/dis/dw/image/v2/bcbs_prd/on/demandware.static/-/Sites-adidas-products/default/dw0eb054ad/zoom/G27805_01_standard.jpg'

我有烂日志

    SSL established
<- "GET /dis/dw/image/v2/bcbs_prd/on/demandware.static/-/Sites-adidas-products/default/dw0eb054ad/zoom/G27805_01_standard.jpg HTTP/1.1\r\nUser-Agent: Mozilla/5.0\r\nConnection: close\r\nHost: www.adidas.com.sg\r\n\r\n"

试图通过

关闭SSL验证

 verify: false,

但不能解决我的痛苦¯\ _（ツ）_ /¯

但是，对于两个网址，curl -O都可以很好地使用

Answer 1

当某些特定标头丢失时，它们有可能阻止请求，因此您可能需要设置其中一些：

 HTTParty.get(url, { headers: {
                       "User-Agent" => "Mozilla/5.0 (iPhone; CPU iPhone OS 12_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) FxiOS/7.0.4 Mobile/16B91 Safari/605.1.15",
                       "Accept-Language" => "en-US,en;q=0.9,bg;q=0.8",
                       "Accept-Encoding" => "gzip, deflate, br"
                     }
                   })

Answer 2

服务器端正在对Adidas URL进行过滤，这很可能会阻止自动抓取。至少必须指定其他标头才能成功建立连接。

以下示例成功从Adidas URL返回响应：

url = 'https://www.adidas.com.sg/dis/dw/image/v2/bcbs_prd/on/demandware.static/-/Sites-adidas-products/default/dw0eb054ad/zoom/G27805_01_standard.jpg'

headers = {
  'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Encoding' => 'br, gzip, deflate',
  'Accept-Language' => 'en-us'
}

response = HTTParty.get(url, headers: headers)
=> #<HTTParty::Response:0x7fcb02856298 parsed_response="\xFF\xD8\xFF\xE0\x00\x10JFIF ...

列出的三个标头是获得响应所需的唯一标头，但所有三个标头都是必需的。

您可以从返回的响应中看到它正在返回a JPEG，因此该示例应按要求工作。

ruby http请求使用SSL冻结

2 个答案: