刮擦一个有jsp

时间:2018-06-14 09:19:14

标签: c# web-scraping html-agility-pack scrapysharp

我是webscraping的新手,我必须做以下事情: 1.转到网页 2.找到一个元素 3.获得其价值

现在我没有问题进入网页,这很好。 问题是我需要的元素实际上来自一个在iframe中显示的jsp。

我试图使用HtmlAgilityPack和ScrapySharp来获取电子元素。

这是我的代码:

ScrapingBrowser Browser = new ScrapingBrowser();
Browser.AllowAutoRedirect = true; 
Browser.AllowMetaRedirect = true;

WebPage PageResult = Browser.NavigateToPage(new Uri("[The website I need to go to]"));

HtmlNode myNode = PageResult.Html.CssSelect("#WREPBody").First();
string innerHtml = myNode.InnerHtml;

这很好用。但它返回以下内容:

<ilayer id="WREPBodyLayer" src="/app014/wrep/rep/gp/jsp/nl/REPGPdata.jsp"></ilayer>

现在我想要的实际元素是使用REPGPdata.jsp显示的。 jsp显示如下数据:

enter image description here

我需要的元素将位于标签&#34; Ondernemingsnr&#34;旁边。 有谁知道如何获得我需要的元素?

1 个答案:

答案 0 :(得分:0)

我找到了解决方案。 我只需要浏览到jsp,然后从那个结果开始再次刮擦。