我即将下载以UTF-8编码的page。 所以这是我的代码:
using (WebClient client = new WebClient())
{
client.Headers.Add("user-agent", Request.UserAgent);
htmlPage = client.DownloadString(HttpUtility.UrlDecode(resoruce_url));
var KeysParsed = HttpUtility.ParseQueryString(client.ResponseHeaders["Content-Type"].Replace(" ", "").Replace(";", "&"));
var charset = ((KeysParsed["charset"] != null) ? KeysParsed["charset"] : "UTF-8");
Response.Write(client.ResponseHeaders);
byte[] bytePage = Encoding.GetEncoding(charset).GetBytes(htmlPage);
using (var reader = new StreamReader(new MemoryStream(bytePage), Encoding.GetEncoding(charset)))
{
htmlPage = reader.ReadToEnd();
Response.Write(htmlPage);
}
}
因此,它为编码设置了UTF-8
。但是,下载的标题例如在我的屏幕中显示为:
Sexy cover: 60 e più di “quei dischi” vietati ai minori
而不是:
Sexy cover: 60 e più di “quei dischi” vietati ai minori
有些事情是错的,但我找不到。有什么想法吗?
答案 0 :(得分:5)
问题在于,当您获得数据时,它已经被转换。
当WebClient.DownloadString
执行时,它获取原始字节并使用默认编码将它们转换为字符串。损坏已经完成。您无法获取结果字符串,将其转换回字节,然后重新解释它。
换句话说,这就是发生的事情:
// WebClient.DownloadString does, essentially, this.
byte[] rawBytes = DownloadData();
string htmlPage = Encoding.Default.GetString(rawBytes);
// Now you're doing this:
byte[] myBytes = Encoding.Utf8.GetBytes(htmlPage);
但myBytes
不一定与rawBytes
相同。
如果您事先知道要使用的编码,则可以设置WebClient
实例的Encoding
属性。如果要根据Content-Type标头中指定的编码解释字符串,则必须下载原始字节,确定编码,并使用它来解释字符串。例如:
var rawBytes = client.DownloadData(HttpUtility.UrlDecode(resoruce_url));
var KeysParsed = HttpUtility.ParseQueryString(client.ResponseHeaders["Content-Type"].Replace(" ", "").Replace(";", "&"));
var charset = ((KeysParsed["charset"] != null) ? KeysParsed["charset"] : "UTF-8");
var theEncoding = Encoding.GetEncoding(charset);
htmlPage = theEncoding.GetString(rawBytes);