如何通过url检测自动生成的网页

时间:2015-05-10 13:43:43

标签: html url auto-generate

我有一个任务是通过fsharp中的给定网址创建网站地图,不包括自动生成的网页。通过url我可以加载html文档并搜索其中的所有URL。你能解释一下,什么是基本上自动生成的网页,如何确定网页网址导致的是自动生成的?感谢您的帮助!

0 个答案:

没有答案