Question

我正在尝试获取网页上所有文件和网址的列表。当你输入一些网址时，它就像http://tools.pingdom.com上给出的列表一样。现在我试图通过使用cURL或wget在php中执行此操作。有没有人有关于如何获得这种文件/路径列表的建议？

Answer 1

$url="http://wwww.xyz.com";
$data=file_get_contents($url);
$data = strip_tags($data,"<a>");
$d = preg_split("/<\/a>/",$data);
foreach ( $d as $k=>$string ){
    if( strpos($string, "<a href=") !== FALSE ){
        $string = preg_replace("/.*<a\s+href=\"/sm","",$u);
        $stringu = preg_replace("/\".*/","",$string);
        $url = $string
    }
}

编辑：

或者您可以使用此功能：

function getAllUrls($string)
{
    $regex = '/https?\:\/\/[^\" ]+/i';
    preg_match_all($regex, $string, $matches);
    return ($matches[0]);
}

$url_array = getAllUrls($string);
print_r($url_array);

Answer 2

将文档放入字符串后，使用正则表达式查找所有URL。

Match URLs with regex

Use regex with PHP

如何获取网页上所有文件和网址的列表

2 个答案: