Nutch可以抓取视频网站吗？

Question

是否可以使用Nutch仅使用视频文件抓取网站？ 欣赏对此的任何见解。

Answer 1

是的，可以使用自定义插件进行解析和索引过滤。而且，在抓取之前是否有任何视频在网站上是未知的。因此，您需要输入域列表以便手动进行爬网，或者实现一些算法来生成种子域，以便进行有效的爬网。