如何从网站获取HTML代码,保存它,并通过LINQ表达式查找一些文本?
我正在使用以下代码来获取网页的来源:
public static String code(string Url)
{
HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create(Url);
myRequest.Method = "GET";
WebResponse myResponse = myRequest.GetResponse();
StreamReader sr = new StreamReader(myResponse.GetResponseStream(), System.Text.Encoding.UTF8);
string result = sr.ReadToEnd();
sr.Close();
myResponse.Close();
return result;
}
如何在网页源中的div中找到文本?
答案 0 :(得分:149)
最好您可以使用Webclient类来简化任务:
using System.Net;
using (WebClient client = new WebClient())
{
string htmlCode = client.DownloadString("http://somesite.com/default.html");
}
答案 1 :(得分:99)
从网站获取HTML代码。你可以使用这样的代码。
string urlAddress = "http://google.com";
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
if (response.StatusCode == HttpStatusCode.OK)
{
Stream receiveStream = response.GetResponseStream();
StreamReader readStream = null;
if (response.CharacterSet == null)
{
readStream = new StreamReader(receiveStream);
}
else
{
readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet));
}
string data = readStream.ReadToEnd();
response.Close();
readStream.Close();
}
这将为您提供网站上返回的 HTML 代码。但是通过 LINQ 查找文本并不容易。 也许最好使用正则表达式,但这不适用于 HTML 代码
答案 2 :(得分:36)
最好用的是HTMLAgilityPack。您还可以根据自己在检索到的网页中选择元素的需求来研究使用Fizzler或CSQuery。使用LINQ或Regukar表达式只是容易出错,特别是当HTML可能格式错误,缺少结束标记,嵌套子元素等时。
您需要将页面流式传输到HtmlDocument对象,然后选择所需的元素。
// Call the page and get the generated HTML
var doc = new HtmlAgilityPack.HtmlDocument();
HtmlAgilityPack.HtmlNode.ElementsFlags["br"] = HtmlAgilityPack.HtmlElementFlag.Empty;
doc.OptionWriteEmptyNodes = true;
try
{
var webRequest = HttpWebRequest.Create(pageUrl);
Stream stream = webRequest.GetResponse().GetResponseStream();
doc.Load(stream);
stream.Close();
}
catch (System.UriFormatException uex)
{
Log.Fatal("There was an error in the format of the url: " + itemUrl, uex);
throw;
}
catch (System.Net.WebException wex)
{
Log.Fatal("There was an error connecting to the url: " + itemUrl, wex);
throw;
}
//get the div by id and then get the inner text
string testDivSelector = "//div[@id='test']";
var divString = doc.DocumentNode.SelectSingleNode(testDivSelector).InnerHtml.ToString();
[编辑] 实际上,报废了。最简单的方法是使用FizzlerEx,这是原始Fizzler项目的更新jQuery / CSS3选择器实现。
直接从其网站代码示例:
using HtmlAgilityPack;
using Fizzler.Systems.HtmlAgilityPack;
//get the page
var web = new HtmlWeb();
var document = web.Load("http://example.com/page.html");
var page = document.DocumentNode;
//loop through all div tags with item css class
foreach(var item in page.QuerySelectorAll("div.item"))
{
var title = item.QuerySelector("h3:not(.share)").InnerText;
var date = DateTime.Parse(item.QuerySelector("span:eq(2)").InnerText);
var description = item.QuerySelector("span:has(b)").InnerHtml;
}
我认为它不会比那更简单。
答案 3 :(得分:3)
以下是如何获得收益的解决方案。
private void buttonl_Click(object sender, EventArgs e)
{
String url = TextBox_url.Text;
HttpWebRequest request = (HttpWebRequest) WebRequest.Create(url);
HttpWebResponse response = (HttpWebResponse) request.GetResponse();
StreamReader sr = new StreamReader(response.GetResponseStream());
richTextBox1.Text = sr.ReadToEnd();
sr.Close();
}
答案 4 :(得分:3)
我正在使用AngleSharp并对此非常满意。
以下是如何获取页面的简单示例:
var config = Configuration.Default.WithDefaultLoader();
var document = await BrowsingContext.New(config).OpenAsync("https://www.google.com");
现在您在 document 变量中有一个网页。然后,您可以通过LINQ或其他方法轻松访问它。例如,如果要从HTML表中获取字符串值:
var someStringValue = document.All.Where(m =>
m.LocalName == "td" &&
m.HasAttribute("class") &&
m.GetAttribute("class").Contains("pid-1-bid")
).ElementAt(0).TextContent.ToString();
要使用CSS选择器,请参阅AngleSharp examples。
答案 5 :(得分:2)
您可以使用WebClient下载任何URL的html。拥有html后,您可以使用HtmlAgilityPack之类的第三方库在html中查找值,如以下代码所示-
public static string GetInnerHtmlFromDiv(string url)
{
string HTML;
using (var wc = new WebClient())
{
HTML = wc.DownloadString(url);
}
var doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(HTML);
HtmlNode element = doc.DocumentNode.SelectSingleNode("//div[@id='<div id here>']");
if (element != null)
{
return element.InnerHtml.ToString();
}
return null;
}
答案 6 :(得分:1)
试试这个解决方案。它工作正常。
Assets/Resources