标签： http web-crawler
我有一个特定的想法，它依赖于每天在几个第三方网址上运行HEAD请求。提醒一下，这种类型的请求不会下载网页的内容（正文），而且相当轻量级。我的目标只是评估网址是否仍然可用。
我想知道这是否可能被第三方网站禁止？在我看来，它不应该因为我不会下载任何内容。我所知道的唯一信息是知道URL是否仍然有效。
谢谢！