我想在域内找到一个未在Google搜索引擎上编制索引的特定网址。这个网站不是我的,我根本没有任何特权。
我尝试使用Sitemap generator,希望它能显示出来:
http://www.example.com?user=9191919
http://www.example.com?user=3636363
...
但它允许我只查看500
个网址。
是否有PHP方法可以在不使用暴力的情况下搜索此URL?
我也知道它存储在"example.com/pages" + numbers
路径中,所以这可能会缩短搜索范围。
答案 0 :(得分:2)
对于您所谈论的内容,没有太多实际的解决方案。如果你有时间,暴力强迫是最简单的解决方案。
我将假设您要在此处搜索特定内容的页面。
<?php
set_exec_limit(0);
ob_start();
$url_prefix = "http://www.example.com?user=";
$search = "FINDME";
$start = 10;
$end = 1000000;
for($i = $start; $i < $end; $i++){
$content = file_get_contents($url.$i);
if(stripos($content,$search) !== FALSE){
print $url.$i." \n";
ob_flush();
usleep(500); # take it easy
}
}
ob_end_flush();
?>
这应该让你开始,如果它还不是完整的东西。容易腻。
PS:请勿将usleep()向下转。如果有的话,将其设置为1000只是为了安全起见。花时间而不是风险更好。