标签: caching web-scraping web-crawler
我们有一个大型的电子商务网站。我们的服务器承受着巨大的压力,因为每天都有数以千万计的搜索请求涌入我们的服务器。我们的平台上有很多热门词汇,这些词汇也有许多变体。我只想知道在这种情况下是否有解决方案来减轻我们服务器的压力。我认为有两种方法可以解决此问题。一种是缓存,但是我们有很多搜索词,如何提高缓存的命中率。第二个是识别非法的网页抓取工具,但是要做到这一点也很难给我们的真实用户带来不良影响。