搜索引擎索引页面是否具有GET请求(php)

时间:2014-05-10 14:24:52

标签: php google-app-engine search-engine

我在网站上有一些页面,这些页面被GET请求隐藏:例如,如果您浏览页面http://www.mypage.com/example.php,则会看到一个内容 但如果您导航http://www.mypage.com/example.php?name=12345,则会获得其他内容 搜索引擎会看到这样的页面吗?如果是,是否可以将其隐藏在搜索引擎中,例如google

提前完成

我确信,互联网上的任何地方都没有此类网页的链接,因为我将其视为“秘密”页面。 但即便如此,他们还能爬行吗?

2 个答案:

答案 0 :(得分:0)

我可能是错的。但是当你没有任何超链接时,它会引用"?name = 12345"他们找不到页面。但是,如果世界上任何一个页面都有超链接,那么就有可能。

答案 1 :(得分:0)

有一种说法是,通过默默无闻的安全根本就没有安全保障。如果您有一个想要实际保密或安全的页面,除了确保它没有被编入索引外,还需要做一些其他事情。

搜索引擎通常通过查看链接来查找页面。如果没有指向该页面的链接,那么它可能不会对其进行索引(除非它以其他方式找到该页面 - 例如,像Bing所做的那样:http://thecolbertreport.cc.com/videos/ct2jwf/bing-gets-served)。请注意,您是否拥有GET参数(/index.php?param=12345)或不具有/index.php)不会影响这一点。搜索引擎抓取工具可以轻松找到其中任何一个。

如果您的问题是阻止搜索引擎索引您的网站,则应使用robots.txt文件。查看http://www.robotstxt.org/robotstxt.html以获取有关robots.txt文件的一些信息(以下示例来自该页面)。如果您想阻止搜索引擎索引您网站上的任何网页,您可以执行以下操作:

User-agent: *
Disallow: /

如果您想禁止特定目录,可以执行以下操作:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

如果您想禁止使用特定网址,可以执行以下操作:

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html