Question

当您访问托管在那里的网址时，很少有托管服务提供商执行此类操作。例如，考虑一个托管服务提供商，比如＆＃34; xtreemhost.com＆＃34;

在那里托管一个网站，比如说，＆＃34; vritrasur.com＆＃34;

网站的作用是，如果我们访问该网站，＆＃34; http://vritrasur.com＆＃34;，它会将网址更新为＆＃34; http://vritrasur.com/?i=1＆＃34;

如果你再次加载它，它会变成，＆＃34; http://vritrasur.com/?i=2＆＃34;

问题：

我有一个PHP脚本，上传到其中一个这样的网站（我的网站，只是托管在其中一个这样的服务器），我需要每小时运行该脚本。因为手工做它的愚蠢，我想为它做一个cron工作。

每当cron作业发出请求时，url都会抛出这样的错误

<html>
    <body>
        <script type="text/javascript" src="/aes.js" ></script>
        <script>
            function toNumbers(d){
                var e=[];
                d.replace(/(..)/g,function(d) { e.push(parseInt(d,16)) });
                return e
            }
            function toHex(){
                for(var d=[],d=1==arguments.length&&arguments[0].constructor==Array?arguments[0]:arguments,e="",f=0;
                f<d.length;f++)e+=(16>d[f]?"0":"")+d[f].toString(16);
                return e.toLowerCase()
            }
            var a=toNumbers("f655ba9d09a112d4968c63579db590b4"),b=toNumbers("98344c2eee86c3994890592585b49f80"),c=toNumbers("9f38f758d71e0c6e0e935c8c90e0cce1");
            document.cookie="__test="+toHex(slowAES.decrypt(c,2,a,b))+"; 
            expires=Thu, 31-Dec-37 23:55:55 GMT; path=/"; 
            location.href="http://raghavrao.com/homeimage/reasontorely/infra1.png?i=1";
        </script>
        <noscript>This site requires Javascript to work, please enable Javascript in your browser or use a browser with Javascript support</noscript>
    </body>
</html>

从技术上讲，服务器正在我的浏览器中设置一些cookie，然后正在更新URL，从而阻止任何自动机器人通过其服务器废弃数据。

我的问题是，即使遇到这些障碍，也有可能废弃。

如果是，请告诉我如何。

Answer 1

经过研究，我可以看到谷歌已经使用https://www.google.nl/#q=site:vritrasur.com将网站vritrasur.com编入索引，谷歌是一个自动机器人，所以我尝试了使用“Googlebot / 2.1（+ http://www.googlebot.com/bot.html）”和我没有javascript和__test cookie。

以前用来休息代码的PHP代码取决于你

<?php 

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "http://vritrasur.com");
curl_setopt($ch, CURLOPT_USERAGENT, "Googlebot/2.1 (+http://www.googlebot.com/bot.html)");

curl_exec($ch);
curl_close($ch);

?>

使用cron作业通过我的网站解析数据

1 个答案: