我想在我的网站构建时添加nofollow和noindex。客户请求我使用这些规则。
我知道
<meta name="robots" content="noindex,nofollow">
但我只能访问robots.txt文件。
是否有人知道我可以通过noindex, nofollow文件应用robots.txt规则的正确格式？
答案 0 :(得分：3)
noindex和nofollow意味着您不希望您的网站在搜索引擎中抓取。
所以只需将代码放入robots.txt即可
User-agent: *
Disallow: /
这意味着没有索引和nofollow。
答案 1 :(得分：0)
有一个非标准的Noindex字段，which Google (and likely no other consumer) supported as experimental feature。
遵循robots.txt规范，您不能禁止索引也不能使用robots.txt跟踪链接。
对于仍在开发中的网站，尚未编入索引，并且没有从可能被抓取的网页获取反向链接，使用robots.txt就足够了：
# no bot may crawl
User-agent: *
Disallow: /
如果网站中的网页已被编入索引，和/或其他可能被抓取的网页链接到该页面，则必须使用noindex，这不仅可以在HTML中指定，而且{{3 }}：
X-Robots-Tag: noindex, nofollow
答案 2 :(得分：-2)
我刚刚阅读了此主题，并想添加一个想法。
如果有人想将站点建设或开发中，未经授权的用户不可浏览，我认为这个想法是安全的，尽管需要一点IT能力。
在任何操作系统上都有一个“主机”文件，它充当DNS条目的手动存储库，并覆盖在线DNS服务器。
在Windows中，它位于C：\ Windows \ System32 \ drivers \ etc \ hosts和linuxes发行版下（Android也是如此），我知道它在/ etc / hosts下。也许在OSX中是一样的。
想法是添加一个条目，例如
xxx.xxx.xxx.xxx anyDomain.tld
到该文件。 在您的服务器/提供者中创建域非常重要，但该域尚未发送到DNS服务器。
会发生什么：在服务器中创建该域时，它将响应该域上的呼叫，但是除已添加的计算机外，互联网上没有其他人（没有浏览器）会知道您站点的IP地址。上面的摘录到hosts文件。
在这种情况下，您可以将更改添加到有兴趣查看您的网站（并获得您的授权）的任何人，最后没人能看到您的网站。在您在线发布DNS之前，任何搜寻器都不会看到它。
我什至将它用于家庭共享的私人文件服务器。
在这里您可以找到有关如何编辑主机文件的详尽说明： https://www.howtogeek.com/howto/27350/beginner-geek-how-to-edit-your-hosts-file/
答案 3 :(得分：-3)