阻止所有机器人访问页面

时间:2011-06-20 21:44:50

标签: c# asp.net bots robot

在asp.net,c#web应用程序中,是否可以阻止僵尸程序访问特定页面?

我想阻止所有机器人访问我网站上的付款页面。

3 个答案:

答案 0 :(得分:4)

您可能需要使用robot.txt文件。 在这里您可以找到有关如何使用它的更多信息: http://en.wikipedia.org/wiki/Robots_exclusion_standard

答案 1 :(得分:3)

你不能。

您可以请求机器人不会访问您的网站(有关如何执行该操作的更多详细信息,请参阅Projapati的答案),或某些目录或某些文件;但这只是一个请求。只要'Joe Schmoe User'可以打开浏览器并查看页面;没有什么可以阻止某人自动访问。

您可以尝试执行某些操作,阻止您知道各种机器人/抓取工具使用的某些IP;但这是一个失败的主张。你可以肯定地说,它不是一个访问该页面的机器人。

或者您可以修改网站,以便只有经过身份验证的用户才能访问该特定网页,并希望没有人会遇到设置虚假帐户的麻烦。

答案 2 :(得分:0)

将名为robots.txt的文件放在您网站的根文件夹中,并将以下代码添加到其中

User-Agent: *
Disallow: /paymentpage.php # change this to your payment page.

您也可以禁止某个特定机器人,例如Google:

User-Agent: Googlebot
Disallow: /paymentpage.php # change this to your payment page.

详细了解robots.txt:

http://www.javascriptkit.com/howto/robots.shtml