我的网站每天都在使用GeliyooBot / 1.0?

时间:2014-02-21 01:27:57

标签: web-crawler

我需要问一些关于geliyoobot的问题,在我的网站上第一次来到站点地图,在我来看机器人之后比我现在看到的ur url请帮帮我这个机器人是什么?

1 个答案:

答案 0 :(得分:0)

http://en.wikipedia.org/wiki/Geliyoo#Search_Engine

Geliyoo Search是一家网络搜索引擎,是该公司最受欢迎的服务。 Geliyoo还开发了自己的搜索引擎爬虫Geliyoo Spider。 (GeliyooBot / 1.0),这是第一个土耳其搜索引擎机器人GeliyooBot / 1.0,用于为Geliyoo搜索引擎构建可搜索的索引。它使网站管理员能够通过使用robots.txt文件中的相应命令或将元标记添加到网页来限制其网站上的信息可用于GeliyooBot或另一个表现良好的蜘蛛。 Geliyoo Spider对Web服务器的请求可由包含“GeliyooBot”的用户代理字符串和包含“geliyoo.com”的主机地址识别。