Question

首次显示该网站时，我需要用户确认他年满18岁（酿酒厂网站）。我的客户想要一个特定的页面（而不是弹出窗口或弹出窗口），因此我使用cookie的存在将其重定向到该特定页面。如果未确认，则无法访问任何页面。

这对于SEO来说是个问题，因为机器人（例如GoogleBot）无法正确索引网站。

如何避免专门针对漫游器的重定向？还是如何将用户识别为人类还是机器人？

我正在使用PHP，并尝试列出已知的漫游器列表，并将其与HTTP_USER_AGENT进行比较，以防止重定向。但是我不认为这是一个永久性的解决方案（机器人是否更改名称或涉及新闻机器人该怎么办？）。

$crawlers = array(
        'Googlebot',
        'Baiduspider',
        'ia_archiver',
        'R6_FeedFetcher',
        'NetcraftSurveyAgent',
        'Sogou web spider',
        'bingbot',
        'Yahoo! Slurp',
        'facebookexternalhit',
        'PrintfulBot',
        'msnbot',
        'Twitterbot',
        'UnwindFetchor',
        'urlresolver',
        'Butterfly',
        'TweetmemeBot'
    );
$implCrawlers = implode('|', $crawlers);
$isBot = (strpos($_SERVER['HTTP_USER_AGENT'], $implCrawlers ) !== false) ? true : false;
if (!$isBot) {
...
}

Answer 1

您可以使用此软件包https://github.com/JayBizzle/Crawler-Detect，它们会在抓取工具更改其名称时更新其存储库。

避免机器人的页面重定向

1 个答案: