Question

这是一个两部分问题。

Q1：基于cURL的请求可以100％模仿基于浏览器的请求吗？

Q2：如果是，应设置所有选项。如果没有浏览器的额外功能，cURL无法模仿？

我有一个网站，我在很短的时间内就可以看到数千个来自单个IP的请求。这些请求收集了我的所有数据。查看日志以识别所使用的代理时，它看起来像是来自浏览器的请求。所以很想知道它是机器人而不是用户。

提前致谢

Answer 1

This page has all the answers to your questions。你可以模仿这些东西。

Answer 2

R1：我想，如果你设置了所有正确的标题，那么，是的，基于卷曲的请求可以模仿基于浏览器的标题：毕竟，两者都发送一个HTTP请求，只是遵循特定约定的几行文本（即HTTP RFC）

R2：回答这个问题的最佳方法是查看您的浏览器发送的内容;例如，使用Firefox，您可以使用Firebug或LiveHTTPHeaders来获取该功能。

例如，要获取此页面，Firefox会发送这些请求标头：

GET /questions/1926876/can-a-curl-based-http-request-imitate-a-browser-based-request-completely HTTP/1.1
Host: stackoverflow.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.9.2b4) Gecko/20091124 Firefox/3.6b4
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive
Referer: http://stackoverflow.com/questions/1926876/can-a-curl-based-http-request-imitate-a-browser-based-request-completely/1926889
Cookie: .......
Cache-Control: max-age=0

（我刚刚删除了一些信息 - 但你得到了这个想法;-)）

使用curl，您可以使用curl_setopt来设置HTTP标头;在这里，您可能必须使用CURLOPT_HTTPHEADER，CURLOPT_COOKIE，CURLOPT_USERAGENT，......

的组合

基于cURL的HTTP请求可以完全模仿基于浏览器的请求吗？

2 个答案: