如何点击BOT？

Question

我想制作一个节目

这个脚本应该做的是：

1. 首先访问网页“www.site.com/index.php”
2. 然后开始点击网站中的每个网址，直至与“www.site.com/sitemap.xml”
匹配
3. 然后机器人应该回到我的网站并说“找到了sitemap.xml”。

谁能告诉我怎么做？

由于

Answer 1

查看curl以获取PHP。有了它，您将能够以字符串形式获取URL的内容。然后你可以检查它，找到其他链接，然后再找到它。

-

如果缩短URL并不重要，CURL会将您带到实际页面，有选项可以跟踪重定向。

此外，如果您已经知道您要查找的网页所在的网址，则可以通过该网址获取呼叫卷曲并检查其是否存在。