网站中的应用程序是否可以拥有自己的robots.txt文件？
例如，我有一个在http://www.example.com下运行的网站，其中包含robots.txt文件。
然后我们在此域下运行一个单独的网站作为应用程序：http://www.example.com/website-app
是否可以将robots.txt文件与应用程序分开，或者是否需要将应用程序的所有内容放入主根robots.txt？
答案 0 :(得分：0)
robots.txt文件需要驻留在/robots.txt中，没有办法告诉抓取工具可以在其他任何地方找到它（例如，对于favicons）。因此，如果可以，您应该将其添加到根robots.txt（或将您的应用程序放在子域中，而不是将其放在可以拥有自己文件的位置）。
如果您想单独控制特定网页，可以改为使用<meta> - 代码，如robotstxt.org所述。由于这需要放在每个页面上，它将有爬虫访问（但不是索引）至少一个页面，但它不会跟随其他页面（除非你告诉它）。对于子目录中的小应用程序，这可能是一个很好的解决方案。