测试webcrawler的好网站

Question

我正在测试一个新的webcrawler，我正在寻找一些可能会绊倒它的好网站（重定向，框架，任何东西）。有人知道一些非常复杂的网站，或者那些可能会让它绊倒的网站吗？ THX

Answer 1

如果您在Alexa排名前1000位左右进行测试，您将获得一个非常有代表性的网站内容。你可能没有机会测试一些遗留协议（例如框架集等等），但是你会很好地了解性能，特别是它的重要性。