标签： http go web url web-scraping
我正在用 golang 创建一个网络爬虫，我只是想问一些关于它们大多数是如何工作的问题。例如，Googlebot 如何在抓取时不使用大量带宽，因为您必须访问每个 URL 才能获取数据，而且可能有数千个 URL，因此这不仅会占用带宽，还会花费大量时间。我正在构建一个网络爬虫，我遇到了这些问题，我想问一下解决这些问题的最佳方法是什么。 https://github.com/hackermondev/cosmic