我有一个Ruby on Rails Web应用程序,我需要在其中进行一些屏幕擦除。
这是我的一般电话:
curl_results = #{kinit_command} curl -o curl_results.html -s -L --negotiate -u : \"http://yay.this.site.scrapes.fine\"
我在curl_results.html文件中获得了大量结果。
但是,当我尝试使用明显使用javascript的某些网站时 - 我在curl_results.html中获得以下内容,并且没有其他内容......
<noscript>
<div class="message">You must enable javascript in your browser to use this application. </div>
</noscript>
有什么建议吗?
提前致谢, 添
答案 0 :(得分:0)
服务器可能拒绝curl作为用户代理。您是否尝试将用户代理(带选项-A)更改为某些最近的chrome用户代理字符串(例如“Mozilla / 5.0(Windows NT 6.1)AppleWebKit / 537.36(KHTML,如Gecko)Chrome / 31.0.1650.57 Safari / 537.36 OPR / 18.0.1284.49“)?