Question

有一些关于编码问题和HtmlAgilityPack的帖子，但未解决此问题：

由于我尝试解析的网站包含Unicode符号，例如€或ä，ü我试图将编码设置为Unicode：

public class WebpageDeserializer
{
    public WebpageDeserializer() {}

    /*
     * Example address: https://www.dslr-forum.de/showthread.php?t=1930368
    */
    public static void Deserialize(string address)
    {
        var web = new HtmlWeb();
        web.OverrideEncoding = Encoding.Unicode;
        var htmlDoc = web.Load(address);
        //further decoding fails because unicode decoded characters are not proper html (looks more like chinese)
    }
}

但是现在

htmlDoc.DocumentNode.InnerHtml

看起来像这样：

ℼ佄呃偙⁅瑨汭倠䉕䥌⁃ⴢ⼯㍗⽃䐯䑔堠呈䱍ㄠ〮吠慲狝莹潩虑⽬䔯≎...

如果我尝试使用UTF-8或iso-8859-1，则€符号将转换为�（以及ä，ö， ü）。我该如何解决？

Answer 1

您的网站配置错误，实际编码为 cp1252 。

下面的代码应该可以工作：

var client = new HttpClient();
var buf = await client.GetByteArrayAsync("https://www.dslr-forum.de/showthread.php?t=1930368");
var html = Encoding.GetEncoding(1252).GetString(buf);
var doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(html);

Answer 2

代替Encoding.Unicode使用：

web.OverrideEncoding = Encoding.GetEncoding("iso-8859-1");

（已通过您的网站和德国变音符测试）

要获取正确的编码，请检查目标网站的标题。它包含正确的提示：

<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">

ASP.NET Core HtmlAgilityPack编码错误

2 个答案: