C#在html中搜索,获取链接,关注它们并从每个页面获取一些信息

时间:2017-03-29 08:49:17

标签: c# html excel

我不要求完整的解决方案。听到任何建议会很高兴。

如果已经提出这样的问题,我很抱歉。 好吧,我有一个包含很多行的html文件(保存在我的电脑上)。 示例:

</li><li class="vertical" style="width: 20%;">
<div class="item-box vertical flex-auto">
<div class="image-box vertical center flex-auto"><a target="_blank" href="https://www.aliexpress.com/item/-/32794448855.html?scm=1007.14110.78103.0&amp;pvid=98337ce3-4886-4639-99f3-5dcaf226a0af" class="fade-in"><img src="./Электроника – Распродажа «Нам 7 лет» – AliExpress.com_files/HTB1fDZgPFXXXXXiapXXq6xXFXXXQ.jpg_350x350.jpg" alt="KingDian Новый Универсальный 2.5 &quot;до 3.5&quot; SSD HDD Окружающей Среды Пластмасс Адаптер Кронштейн Держатель Жесткого Диска для Настольных ПК"> </a></div>

此代码包含类似的链接:

https://www.aliexpress.com/item/-/32794448855.html?scm=1007.14110.78103.0&amp;pvid=98337ce3-4886-4639-99f3-5dcaf226a0af

我需要抓住所有类型的链接。将它们导出到任何类型的文档。跟着他们。在每个页面上,我需要找到包含价格的行(每页都标有“j-sku-discount-price”)。

<span id="j-sku-discount-price" class="p-price" itemprop="price" style="color: rgb(247, 43, 76);">4&nbsp;467,04</span>

这是在html代码中找到的价格:

4&nbsp;467,04

出口价格因此接近其链接。

E.g:

https://www.aliexpress.com/item/-/32794448855.html?scm=1007.14110.78103.0&amp;pvid=98337ce3-4886-4639-99f3-5dcaf226a0af 4&nbsp;467,04

如果它可以存储在Excel中,那将是完美的。

感谢您的想法。

1 个答案:

答案 0 :(得分:0)

您应该使用HtmlAgilityPack,然后在HTML文档中使用它。 但首先从网站下载字符串。你走了,我帮你做了一个例子:

string urlAddress = "https://www.aliexpress.com/item/-/32794448855.html?scm=1007.14110.78103.0&amp;pvid=98337ce3-4886-4639-99f3-5dcaf226a0af";

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
string data = "";
if (response.StatusCode == HttpStatusCode.OK)
{
     Stream receiveStream = response.GetResponseStream();
     StreamReader readStream = null;

     if (response.CharacterSet == null)
     {
         readStream = new StreamReader(receiveStream);
     }
     else
     {
         readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet));
     }

     data = readStream.ReadToEnd();


     response.Close();
     readStream.Close();
}

HtmlDocument document2 = new HtmlAgilityPack.HtmlDocument();
document2.LoadHtml(data);


var value = document2.GetElementbyId("j-sku-discount-price").InnerHtml; //value is "3.94"