我正在开发一个asp.net（4.0）网络表单应用程序，我正在使用路由器来处理我的所有网址。 我不确定是否应该在我的 robots.txt 中添加条目：
Disallow: /forum/editpost.aspx
（实际路径/文件名）
或者像这样：
Disallow: /forum/edit-post
我假设它是后者，因为我在网上引用了所有网页，但认为检查更安全。
答案 0 :(得分：2)
假设您从不通过物理路径引用页面并且不希望通过物理路径引用页面（因为您使用的是路由），您不需要将物理页面放入机器人文件中，因为爬虫将会永远找不到它们。
因此，您只需要禁止路由路径。如果您担心自己在网站某处的链接中意外使用了物理路径，我认为您可以禁止物理页面只是为了安全（希望一次性使用）。
答案 1 :(得分：0)
使用Googlebot等人的任何内容。会看到他们索引页面的时间。 Robots.txt不会在服务器端执行，解析或处理。