open_uri_redirections gem

时间:2019-01-28 23:20:31

标签: ruby nokogiri open-uri

感谢您的时间。

我正在编写一个Ruby脚本,以解析url的CSV并在各种维度上对其进行评估,以查看是否存在某些标记和属性,或确定是否遵循某种模式。

我正在使用Nokogiri,open-uri和open-url补丁,以允许脚本遵循重定向,open_uri_redirections。

在一些有问题的域中,我遇到了一个错误,脚本遇到了运行时错误:

Loading https://www.exampleproblemdomain.com C:/Ruby24-x64/lib/ruby/2.4.0/open-uri.rb:233:in `open_loop': HTTP redirection loop: https://www.exampleproblemdomain.com (RuntimeError)
        from C:/Ruby24-x64/lib/ruby/2.4.0/open-uri.rb:151:in `open_uri'
        from C:/Ruby24-x64/lib/ruby/gems/2.4.0/gems/open_uri_redirections-0.2.1/lib/open-uri/redirections_patch.rb:55:in `open_uri'
        from C:/Ruby24-x64/lib/ruby/2.4.0/open-uri.rb:721:in `open'
        from C:/Ruby24-x64/lib/ruby/2.4.0/open-uri.rb:35:in `open'
        from arraycsv.rb:16:in `block in <main>'
        from C:/Ruby24-x64/lib/ruby/2.4.0/csv.rb:866:in `each'
        from C:/Ruby24-x64/lib/ruby/2.4.0/csv.rb:866:in `each'
        from arraycsv.rb:14:in `<main>'

open_uri_redirections gem在大多数域中都可以正常工作,但是少数几个遇到了这个问题,即使我使用了像Ayima这样的重定向扩展来遵循重定向链,我也无法弄清楚原因

造成问题的是302还是301?

0 个答案:

没有答案