我似乎找不到这个问题的答案。
我有一个旧的子域名，比方说asdasd.example.com
此子域网站不再存在。但是，我一直收到来自Django的关于无效的httphost的错误电子邮件：
SuspiciousOperation：无效的HTTP_HOST标头（您可能需要设置ALLOWED_HOSTS）：asdasd.example.com
由于子网站不再存在，我无法使用robots.txt。
那么如何阻止抓取工具尝试索引不再存在的此页面？ 它不仅会尝试索引asdasd.example.com，还会测试asdasd.example.com/frontpage和其他曾经有效的网址。