标签: robots.txt
我有单个目录“demo”。我已对其进行了网址屏蔽,即demo.example.com和preview.example.com。
demo.example.com
preview.example.com
我想仅允许demo.example.com上的搜索引擎抓取。我希望robots.txt禁止使用preview.example.com网址。
robots.txt对两个网址都很常见。
我该怎么做?