标签： web-crawler nutch robots.txt
可以抓取Wikipedia或复数视域之类的网站吗？如果是，那怎么办？我一直在尝试爬网类似的网站，但似乎其robots.txt文件中的爬网已被阻止。我该如何解决这个问题？