美好的一天，
我已经做了一些寻找这个答案的研究，但没有多少运气。希望有人可以提供帮助..
情况是我正在开发的一个网站（内置在ASP.net中）在大多数页面上强制使用SSL，这些网站包含一些文件夹（即site.com/dontindex），其中包含绝对不应编入索引的文件通过搜索引擎。 Google在其索引中有这些文件的链接（即https://www.site.com/dontindex/file.pdf）。
我的问题是我创建了一个robots.txt文件来禁止索引这些文件夹，但从我读过的内容来看，这并不会阻止这些文件被编入索引 - 因为其中一些文件可能会被引用安全页面。我认为只有这样的非安全页面才被禁止。 Q1）这是否正确？
当我针对Google网站站长工具中的新漫游器文件测试http://www.site.com/dontindex/file.pdf时，机智又回来了“被第5行阻止：禁止：/ dontindex /”，但当我尝试https://www.site.com/dontindex/file.pdf时，它又回来了作为“不在域中”。
从我可以收集到的内容中，我应该在安全文件/文件夹的某处有第二个robots.txt文件。我已经读过如果网站运行php，我可以做一些重写规则来覆盖这个，但是我的ASP.net情况怎么办？ Q2）如果它适用于我有第二个机器人文件（假设它是一个ASP.net网站），我应该把这个文件放在哪里？
感谢您的帮助！
答案 0 :(得分：1)
我认为问题更多地与Google网站管理员工具有关，如http://site.com/robots.txt == https://site.com/robots.txt
我认为不在域内错误是因为Google将2分类为单独的网站。您需要添加https和http网站以检查漫游器文件。