为什么Chrome会请求robots.txt?

时间:2017-09-17 13:48:57

标签: google-chrome chromium robots.txt

我在日志中注意到Chrome已经请求了robots.txt以及我期望的所有内容。

[...]
2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080
2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704]
2017-09-17 15:22:39 - (network)[INFO][127.0.0.1:36312]: GET http://localhost:8080/  200 148
2017-09-17 15:22:39 - (sanic)[ERROR]: Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/sanic/app.py", line 493, in handle_request
    handler, args, kwargs, uri = self.router.get(request)
  File "/usr/local/lib/python3.5/dist-packages/sanic/router.py", line 307, in get
    return self._get(request.path, request.method, '')
  File "/usr/local/lib/python3.5/dist-packages/sanic/router.py", line 356, in _get
    raise NotFound('Requested URL {} not found'.format(url))
sanic.exceptions.NotFound: Requested URL /robots.txt not found

2017-09-17 15:22:39 - (network)[INFO][127.0.0.1:36316]: GET http://localhost:8080/robots.txt  404 42
[...]

我正在运行Chromium:

60.0.3112.113 (Developer Build) Built on Ubuntu, running on Ubuntu 16.04 (64-bit)

为什么会这样? 有人可以详细说明吗?

2 个答案:

答案 0 :(得分:7)

有可能是您的网站没有请求robots.txt文件,而是其中一个Chrome扩展程序(例如您提到的Wappalizer)。这可以解释为什么它只发生在Chrome中。

要确定您可以查看Chrome的DevTools的“网络”标签,以查看请求的发生点,以及是否来自您的某个脚本。

答案 1 :(得分:0)

对于chrome,有一个插件(SeeRobots)可以检查robots.txt是否为搜索引擎等定义了规则 - 可能你已经安装了这个插件?

https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp?hl=de