我正在尝试加载某个URL,但是返回的数据不好。使用以下网址,响应不完整,并且基本上是无用的:
https://www.ynet.co.il/home/0,7340,L-8,00.html
但是,https://www.ynet.co.il
正常工作。
这是我的代码:
HtmlWeb web = new HtmlWeb()
{
PreRequest = request =>
{
request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;
return true;
}
};
web.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36";
string url = "https://www.ynet.co.il/home/0,7340,L-8,00.html";
loadedDoc = web.Load(url);
我正在使用HTML Agility Pack v1.8.14(一个相当老的版本)。
loadedDoc
包含25个ParseErrors
:
1. End tag </html> was not found.
2. End tag </body> was not found
3. End tag </div> was not found
...
25. End tag </a href="http://www.wi> was not found
我读了here,但没有帮助。
编辑
我已经更新到最新版本(1.11.9),但问题仍然存在。