我制作了一个页面,我无意让搜索引擎找到并抓住它。 可取的解决方案是robot.txt。但它不适用于我的情况。
所以我通过清除从其他页面到此页面的所有链接从我的网站中隔离了此页面,并且从未将其URL放在外部网站中。
从逻辑上讲,搜索引擎无法找到这个页面。这意味着无论在此页面中嵌套多少个出站链接,站点的PR都会保存。 我对吗?
非常感谢!
希望这个问题与编程有关!
答案 0 :(得分:1)
不,搜索引擎抓取工具仍有可能找到您的网页。例如,据推测,Google工具栏中的数据可用于提醒Googlebot存在页面。如果网址已知,其他人可能会从外部网站链接到您的网页。
最好的办法是在您的网页上添加robots meta tag,这样可以防止它被编入索引,并阻止抓取工具关注任何链接:
<meta name="robots" content="noindex,nofollow" />
答案 1 :(得分:0)
如果它在互联网上而不受限制,则会被找到。它可能会使查找更难,但仍有可能在它上面发生爬虫。
链接是什么,所以我可以查看? ;)
答案 2 :(得分:0)
如果您在此“隔离”页面上有出站链接,那么您的页面可能会在链接到页面的日志中显示为引荐来源。根据链接到页面的所有者跟踪他们的统计信息的数量,他们可能会找到您的页面。
我在Google搜索中看到httpd日志文件出现了。这反过来可能会导致其他人找到您的网页,包括抓取工具和其他机器人。
最简单的解决方案可能是密码保护页面?