如何使用CURL在URL中使用\ Arachnid \ Crawler运行

Question

我用的是： https://github.com/zrashwani/arachnid

我这样做：

$url = "www.google.com";
$crawler = new \Arachnid\Crawler($url, 2);
$crawler->traverse();

我在php中用cron运行它 我有一个URL，我可以用cron进入他 给我一个blnk页面 我如何处理这些应用程序 我如何将代码添加到我的代码中：

$userAgent = "IE 7 – Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)";
curl_setopt($ch, CURLOPT_USERAGENT, $userAgent);
curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);