Question

我使用http://www.auditmypc.com/xml-sitemap.asp来检查它是否被抓取。

http://www.domain.com/不会被抓取 http://www.domain.com/bg/不会被抓取 http://www.domain.com/bg/medical/确实释放了巨大的抓取活动

同样，由于某种原因，/bg/medical/是否www也很重要。如果没有，则爬行不再起作用。

.htaccess文件：

RewriteEngine on
RewriteBase /
RewriteCond %{http_host} ^domain.com [NC]
RewriteRule ^(.*)$ http://www.domain.com/$1 [R=301,L] 

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^.*$ site/lib/router.php

router.php文件相关部分：

@list($uri,$queryString) = explode('?',$_SERVER['REQUEST_URI'],2);
$uri = trim($uri,'/');

$_GET = array();
parse_str($queryString,$_GET);

if (empty($uri)) {
header('Location: /bg/home');
die();
}
@list($first,$second,$third,$fourth) = explode('/', $uri, 4);

///////////// VARIETY OF SWITCHES HERE with stuff like that:
        if(empty($second))
        switch($first){
            case 'bg':
                redirect('/'.$first.'/home/');

            case 'en':
                redirect('/'.$first.'/home/');
        }

我认为重定向中的某个地方会让事情迷失。但我无法弄清楚为什么。任何帮助，将不胜感激。

的robots.txt：

User-agent: * 
Allow: /

和redirect函数的定义：

function redirect($url) {
header("Location: $url");
die();
}

编辑：如果这也有帮助：

Header fields

HTTP/1.1 302 Moved Temporarily
Date
Thu, 13 Jan 2011 11:02:13 GMT
Content-Length
0
Location
/bg/home
Keep-Alive
timeout=5, max=100
Connection
Keep-Alive
Content-Type
text/html
Server
Apache/2.2.14 (Unix) mod_ssl/2.2.14 OpenSSL/0.9.8e-fips- rhel5 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635
X-Powered-By
PHP/5.2.11

Answer 1

我看到您的网站在Google搜索（包括主页）中显示，因此必须由Google抓取。我不知道这个auditmypc工具，但我认为这个问题更可能出现在这个工具中。

尝试使用Google网站管理员工具：http://www.google.com/webmasters/

在那里你可以看到谷歌是否将你的网站编入索引。

我的网站由于某种原因没有被编入索引

1 个答案: