Question

我想阻止搜索引擎停止索引我的网站。我已经遵循了这个引用Here并在root上创建了一个robot.txt。内容是这样的：

User-agent: http://search.pch.com 
Disallow: /

但它不起作用。任何帮助将不胜感激。我想通过 .htaccess 或其他方法阻止搜索引擎 http://search.pch.com 。

更新我也试过这个

<meta name="robots" content="noindex, nofollow">
<meta name="googlebot" content="noindex, nofollow">

没效果

Answer 1

您需要查看网络服务器上的日志文件，以检查http://search.pch.com是否是抓取工具的用户代理。

使用带有

的robot.txt（不是reboot.txt）

User-agent: *
Disallow: /

相反，如果你喜欢任何机器人（尊重robot.txt）不要抓取你的页面。

Answer 2

首先：文件名应为robot.txt

第二：它的网络抓取工具选择是否尊重此文件。它明确地说＆＃34;大多数＆＃34;

第三个也是最重要的：PCHSearch的用户代理字符串可能与其url不同。仔细检查用户代理字符串。

或者您可以将this代码用于htaccess

# block visitors referred from indicated domains
RewriteEngine on
RewriteCond %{HTTP_REFERER} baddomain01\.com [NC,OR]
RewriteCond %{HTTP_REFERER} baddomain02\.com [NC]
RewriteRule .* - [F]

Answer 3

这对我有用

SetEnvIfNoCase Referer "http://search.pch\.com" bad_referer

Order Allow,Deny
Allow from ALL
Deny from env=bad_referer

如何阻止搜索引擎从我的域中搜索

3 个答案: