我正在使用节点webshot库来拍摄网站的图片,请说http://x.y.z.com/blah。如果网站存在,我会得到一个很好的形象。如果网站不存在,我可能会或可能不会收到错误。如果我收到错误案例,我可以使用默认图像。但是,我发现某些域名被重定向到臭名昭着的域名销售网站或者搜索"域名网站。例如,http://notawebsite.com.org被重定向到http://www.com.org/?notfound=notawebsite.com.org。我还检查了dns,看看我是否可以提前使网站无效,但它解决得很好(到www.com.org地址)。那么我可以做些什么来确定网址是否被重定向到这些域名搜索/销售网站之一?
答案 0 :(得分:1)
使用http / https时,是否有标准方法识别“域名未拥有”网站?
不,不是真的。在您引用的示例中,http://notawebsite.com.org
的服务器返回301重定向。在我看来,您只是决定如果您正在重定向到另一个域(而不仅仅是重定向到同一域上的不同页面,而不仅仅是在同一域上从http重定向到https),那么您尝试访问的网址本身显然不活跃。
没有标准方法可以了解您重定向到的网站是否只是域名卖家与实际活动域名。您可以手动调查一堆您重定向的网站,并教您的代码如何识别一些常见的域名卖家这样做,但这可能是一个有点无休止的任务,可能需要定期的人工干预来区分真实网站和域名销售网站。最后,您可以建立域名卖方域名的黑名单,并拒绝将重定向到黑名单上任何域的任何URL编目。但是,可能需要一些人工干预来构建和维护黑名单。
您也无法确定您获得重定向的给定域上的所有网址都执行类似的重定向,但您可以肯定地说,您尝试从中获取快照的网址并非直接有效在其自己的。如果用户在其浏览器中访问该域,他们将不会在浏览器中看到该域的任何内容,因为重定向将更改URL。
那么我可以做些什么来确定网址是否被重定向到这些域搜索/销售网站之一?
构建您自己的转销商域名黑名单,这些黑名单会显示在此类重定向中。然后,每当您尝试请求页面URL以获取webshot并从请求中获得3xx状态代码时,请检查重定向域以查看它是否在您的黑名单中。