标签： asp.net web webserver web-crawler bots
我正在查看我公司网站的日志，我们在其中记录客户端主机名和IP地址。 我注意到每次访问网站时，除了我的IP和主机名，还有其他主机名和IP地址（baiduspider，googlebot等）记录，与我访问的时间一致。
他们如何在我的网站访问的同时访问网站。当有真正的用户网站访问权限时，他们是否仅监控流量并遵循复制请求？
网站的抓取工具和机器人是好还是坏？它们不会为网站提供商带来成本。