将robots.txt文件添加到nginx.conf中

Question

我正在尝试添加到我的robots.txt文件中以停止索引不需要的WebPages。我发现的大多数内容都与Cpanel / .htaccess - apache文件有关。我使用nginx作为代理，并假设我必须将它添加到nginx.conf文件中。我到底在哪里添加它？下面是我现在的robots.txt。我想补充一下。

Disallow: /retailer/inv/ 

这是否会阻止所有零售商库存页面？

Sitemap: http://www.example.com/sitemap.xml
User-agent: *
Disallow: /trade/
Disallow: /email/
Disallow: /saved/
Disallow: /print/

我是新手但是想在旅途中学习。 提前谢谢。

Answer 1

robots.txt由抓取工具（包括搜索引擎）检查，而非网络服务器。因此，无论您使用的是Apache，Nginx还是其他任何服务器都无关紧要;只要文件存在且可公开访问。