哪些网站可以用于网络爬网？

Question

我正在研究网络爬网，我注意到这里有robot.txt，谷歌不允许爬网搜索结果。我想知道我可以使用哪个网站（某著名网站），如果我禁止访问该网站，会发生什么？