我需要一个库(希望在C#中),它可以作为Web爬虫来访问HTTP文件和FTP文件。原则上,我很高兴阅读HTML,我想将其扩展为PDF,WORD等。
我对初学者的开源软件或至少任何文档说明感到满意。
答案 0 :(得分:4)
检查NCrawler项目
使用C#编写的基于管道的处理的简单且非常高效的多线程Web爬网程序。包含HTML,文本,PDF和IFilter文档处理器和语言检测(Google)。易于添加管道步骤以提取,使用和更改信息。
答案 1 :(得分:1)
我开发了Crawler-Lib Framework的Crawler Engine。它是一个支持工作流的爬虫,可以轻松扩展以执行任何类型的请求,甚至可以进行处理。
这是引擎: http://www.crawler-lib.net/crawler-lib-engine
以下是一些Youtube视频,展示了Crawler-Lib引擎的工作原理: http://www.youtube.com/user/CrawlerLib
我知道这个项目不是开源的,但有一个免费版本。