禁用机器人可以用htaccess绕过吗？

Question

我有一个简单的问题。假设我在 robots.txt：

中有此功能

User-agent: *
Disallow: /

.htaccess：

中的类似内容

RewriteRule ^somepage/.*$ index.php?section=ubberpage&parameter=$0

当然在 index.php 之类的东西：

$imbaVar = $_GET['section']
// Some splits some whatever to get a specific page

include("pages/theImbaPage.html") // Or php or whatever

机器人能够看到脚本中包含的html中的内容（site.com/somepage）吗？我的意思是......网址指向无法访问的地方...（不允许/somepage），但仍然会将其重定向到有效位置（index.php）。

Answer 1

没有。禁止机器人访问，机器人不允许浏览您网站上的任何网页，并且他们遵守您的规则

Answer 2

假设机器人会尊重robots.txt，那么它根本无法在网站上看到任何页面（您声明使用了Disallow: /。

如果机器人不尊重您的robots.txt文件，那么他们将能够看到内容，因为重定向是服务器端。