我正在寻找建议和方法; 我的域名中有一个文件夹，我正在测试某个目标网页; 如果进展顺利，我可能会在此着陆页上建立一个新的网站和域名， 这就是我不希望它被抓取的主要原因，所以Google不会因重复内容而受到惩罚。我也不希望不需要的机器人刮掉这个登陆页面，因为没有任何好处可以从它出来。这对你有意义吗？
如果是这样，我该怎么做？我不认为robots.txt是最好的方法，因为我知道不是所有的爬虫都尊重它，甚至谷歌可能也不会完全尊重它。我无法输入密码，因为登陆页面应该对所有人开放（因此解决方案不得对人类访问者造成任何问题）。它会留下.htaccess文件吗？如果是这样，我应该添加什么代码？我有没有得到任何缺点？
谢谢！