我正在尝试使用file_get_contents，卷曲远程文件，我遇到一些已禁用file_get_contents的网站的问题，甚至curl显示超时错误，无法打开页面，但搜索引擎机器人很容易抓取这些页面。我知道一些关于机器人的东西，他们也通过一些程序打开页面后做了几乎相同的事情我确切知道他们使用的程序但我想知道搜索引擎机器人和php file_get_contents之间的差异以及如何创建一个非常基本的机器人可以抓取任何网站，尽管file_get_contents或curl已被禁用。
无论如何我可以在php中完成，或者我需要使用c或c ++编程