C#中webscraping的问题:下载和解析压缩文本文件

时间:2012-09-12 07:42:04

标签: c# web-scraping

我正在写一个网络浏览器,从网站上下载内容。

遍历网站/网址会触发创建临时网址。这个新URL有一个压缩文本文件。必须下载并解析此压缩文件。

我使用WebClient及其函数DownloadFileAsync()在C#中编写了一个剪贴簿。从已捕获的DownloadFileCompleted事件的指定位置读取压缩文件。

我的问题触发Windows 打开/保存对话框。这需要用户输入并且自动化中断。

你能建议一种绕过这个问题的方法吗?我很酷,使用任何备用库重写代码。 :)

感谢您阅读

1 个答案:

答案 0 :(得分:0)

您可以使用'HttpWebRequest'执行请求并将流式字节保存到磁盘。

var request = WebRequest.Create(@"your url here");
request.Method=WebRequestMethods.Http.Get;
var response = request.GetResponse();
using (var writeStream = new FileStream(@"path", FileMode.Create))
{
    using (var readStream = response.GetResponseStream())
    {
        var buffer = new byte[1024];
        var readCount = readStream.Read(buffer,0,buffer.Length);
        while (readCount > 0)
        {
            writeStream.Write(buffer,0,buffer.Length);
            readCount= readStream.Read(buffer,0,buffer.Length);
        }
    }
}