网络爬虫是否识别cookie？

Question

网络抓取工具是使用Cookie还是丢弃它们？

Answer 1

抓取工具只是一个通过http下载文件的软件，并试图找到更多文件来下载更多文件。

由抓取工具的创建者决定是否要使用或忽略javascript和Cookie。

我认为，大多数抓取工具目前都会忽略javascript和Cookie，但没有理由认为必须如此（并且出于安全原因，你肯定不应该依赖它）

Answer 2

Crawlers不会对发出cookie的命令作出反应，并在下次访问页面之前将其存储起来。

爬虫不会执行JavaScript。

Crawlers只读取默认页面（没有关闭cookie并关闭JavaScript的服务）并根据他们看到的内容对其进行排名。