搜索引擎机器人 - 爬虫 - 蜘蛛 - 等有javascript吗?

时间:2013-05-07 08:51:12

标签: javascript web-crawler robot

我不知道搜索引擎机器人是如何工作的,我的浏览器记录上的机器人的数据库条目是例如Googlebot,msnbot,BingBot等

所以我不知道他们是否启用了javascript。

为什么我想知道他们是否启用了javascript?因为我想要在我的网站上使用Javascript。我做的是做了一个'叠加'我设置为' display:none'在页面加载javascript因此,如果没有Javascript,叠加层就会消失,并且网站中的任何内容都不会被点击或任何内容。

即使我做了Javascript要求,机器人仍然可以抓取我的网站吗?因为我希望谷歌和其他好的机器人能够抓取我的网站。

3 个答案:

答案 0 :(得分:3)

是的,自2010年以来至少googlebot以了解不是在(某些)javascript中创建的直接链接而闻名,但他们不需要你的javascript来阅读链接,因为这些链接在html中清晰可见。与关闭javascript浏览的人一样。

答案 1 :(得分:1)

搜索机器人可以并且会抓取您的网站,但他们不了解JavaScript,因此他们会忽略任何JS。但是,对于您描述的页面,它们应该没有问题。

答案 2 :(得分:0)

据我所知,搜索引擎可以解析识别不同内容和行为的内容。他们还可以惩罚特定的隐藏内容。我怀疑谷歌是一个非常聪明的搜索引擎,能够识别一些javascript,但我们不了解他们系统的内部行为。