避免在我的服务器上重定向

时间:2015-09-16 00:50:20

标签: curl dns web-scraping python-requests digital-ocean

当我尝试在我的本地计算机上获取一些不存在的URL时,大部分时间我得到:

curl: (6) Could not resolve host: some-non-existent-url.co

但有时我会得到301:

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>301 Moved Permanently</title>
</head><body>
<h1>Moved Permanently</h1>
<p>The document has moved <a href="http://registry.co.com/">here</a>.</p>
</body></html>

在这种情况下,我使用的是curl,但其他工具也是如此。

在我的digitalocean droplet中,每次都会发生重定向。我无法分辨可达网址和虚假重定向。 有办法阻止吗?在我的浏览器中,当我尝试访问无法访问的URL时,我得到:

This webpage is not available

DNS_PROBE_FINISHED_NXDOMAIN

我知道我可能只是ping主机,但我很想知道是否可以禁用该行为。

1 个答案:

答案 0 :(得分:0)

  

卷曲:(6)无法解析主持人:some-non-existent-url.co

浏览器:

  

此网页不可用   DNS_PROBE_FINISHED_NXDOMAIN

这不是某种假冒伪劣的&#39;重定向,这是DNS服务器告诉curl任何其他工具,如浏览器,该域不存在。也就是说,域不会映射到任何IP地址。

  

有没有办法阻止它?

准确阻止什么?请详细说明..