用于wordpress网站的Robots.txt - 如果我们有另一台服务器在同一个域上托管我们想要隐藏索引的内容怎么办？

Question

我们在域名上有一个wordpress网站，我们称之为domain.com。我们将旧产品托管在app.domain.com上，但它托管在与wordpress网站不同的服务器上。目前，domain.com和app.domain.com都在搜索结果中编入索引。我们希望阻止app.domain.com进行索引，而是确保搜索引擎抓取我们在rpa.domain.com上托管的新产品 - 我们是否可以通过我们在domain.com/robots上设置的robots.txt执行所有这些操作。文本？如果是这样，我们该怎么做？

Answer 1

搜索引擎将domain.com和app.domain.com视为单独的网站。您需要为app.domain.com提供自己的robots.txt。