我想添加一个robot.txt，以便找到我的网页......
所以我听说在我的网站的 root 中添加带有元标记的robot.txt可以做到这一点。
我找到了this
答案 0 :(得分：2)
Robots.txt更多的是告诉抓取工具他们已经到达您的网站的地方曾经哪里去哪里？
让抓取工具进入您网站的更好方法是为您的网站构建sitemap，然后使用Google Webmaster将此站点地图提交给Google。您还希望将站点地图包含在您网站的根网址上，并告诉谷歌它的位置（所有这些都可以通过上面链接的Google网站管理员工具完成）。
答案 1 :(得分：1)
不，它不会突然显示您的网页。它只是指示网络抓取工具如何索引您的网站。