尽管有搜索,但我没有找到最终答案。
我在Heroku中有2个应用程序:
这2个应用暂时没有内容(谷歌没有索引)
在向他们推送内容之前,我想确保我的广告应用不会在Google中编入索引。 做正确的方法是什么? 我不明白,因为人们谈论robots.txt,但我应该在哪里写这个文件?
感谢。
PS:这是正确的StackExchange网站问这个吗?对不起,如果没有。
答案 0 :(得分:2)
在这里查看完整的说明 - http://www.robotstxt.org/robotstxt.html
它的工作原理如下:机器人想要访问一个网站URL http://www.example.com/welcome.html。在此之前,它是第一次 检查http://www.example.com/robots.txt
我想它会让你知道在哪里放置robots.txt
答案 1 :(得分:1)
我在网站管理员StackExchange上发现了一个类似的问题:https://webmasters.stackexchange.com/a/65378/31283
您可以在应用的每个页面上添加link rel canonical tag。
<link rel="canonical" href="http://myapp-with-real-domain-name.com" />