标签： web-crawler screen-scraping
假设我有一个从网站根目录开始的抓取工具。没有robots.txt或站点地图。我是否可以使用任何技术来确定是否有任何独特的页面可以在网站上抓取？