我在网站www.index-of-mp3.com上执行了CURL请求
curl "www.index-of-mp3.com/dosearch.php?search_keyword=staind
从服务器上取回以下内容。
我没有显示歌曲列表，而是会看到一个中间网页，其中点击图片会重定向到搜索结果页面。
<html>
<head>
<meta name="robots" content="noindex,nofollow,NOARCHIVE,NOODP,NOYDIR">
<title>searching/download file: staind</title>
</head>
<body>
<center>
<div style="border: 1px dashed red;padding: 5px;background-color: pink;">
<h2><a href="http://www.index-of-mp3.com/dosearch.php?search_keyword=staind"><img src="http://img546.imageshack.us/img546/8037/downloadvo.gif" border="0" alt="download" title="download" style="vertical-align:middle;">Click Here </a> to continue search/download:<a href="http://www.index-of-mp3.com/dosearch.php?search_keyword=staind"> <img src="http://img546.imageshack.us/img546/8037/downloadvo.gif" border="0" alt="download" title="download" style="vertical-align:middle;">staind</a> @index-of-mp3.com</h2>
它看起来像是一种阻止机器人的方法。
这实际上是如何运作的，我们如何在我们的网站上实现这样的东西？
在保持机器人远离网站方面真的有效吗？