我有一个网址，我想限制搜索引擎进入：
以下是否可以接受：
User-agent: *
Disallow: https://mysite.com/
还是我需要更多的东西：
User-agent: *
Disallow: https://mysite.com/index.aspx
或者我只是说：
User-agent: *
Disallow: /index.aspx
答案 0 :(得分：0)
最后一个就足够了。您不需要整个网址，如果您将robots.txt转移到另一个网站，您必须更改此文件，这不是您想要的。但你确实需要以/开头，这意味着它是你域名的根源。
或者你可以这样做：
禁止所有
User-agent: *
Disallow: /
禁止1页
User-agent: *
Disallow: /index.php
禁止1个目录
User-agent: *
Disallow: /dirname/
禁止2页和2个目录
User-agent: *
Disallow: /index.php
Disallow: /subpage.php
Disallow: /dirname/
Disallow: /otherdirname/
允许1页（仅限index.php）
User-agent: *
Disallow: /~index.php