WordPress会列出爬网程序的所有页面吗？

Question

我在Wordpress网站上创建了一个页面，仅供内部使用，并触发了一些后端代码。几天后，我开始在该页面上看到来自“ bingbot”的点击。

我没有使用任何站点地图插件。抓取工具如何找到此页面？

我知道robots.txt文件可以阻止它们，但我想确保它们不会出现在不遵守此规定的抓取工具中。如果有人键入URL，我仍然希望该页面可公开访问。

在Wordpress中需要执行什么操作才能确保除非输入URL，否则无法找到页面？

Answer 1

帖子发布后，以及网站上其他位置是否有指向该URL的链接，都有可能被“发现”。没有保证的方法可以防止搜索引擎为URL编制索引。