数据未完全加载到HTML中

时间:2014-01-04 21:09:48

标签: html vb6 web-scraping

我正在尝试使用vb6创建一个剪贴板,我的技术是在两个文本函数之间搜索html页面。

该功能已经过测试,可以正常运行所有网站,但我尝试使用相同技术的新网站除外。

问题是html没有显示数据,html片段如下:

<tr>
<td valign="top" nowrap="nowrap" class="label">Company Name:</td>
<td><span class="search-custom" id="synopsisDetailsOppNum"></span></td>
</tr>

值应出现在上面的span标记之间,但它不会出现在HTML中,如上面的代码。

该网站使用javascript来管理数据。

我也试过使用wait函数,可能数据与HTML一起出现,但也失败了。

是否有任何解决方案可以获得价值,即使使用vb.net,因为我可以更新我的代码

1 个答案:

答案 0 :(得分:1)

该网站使用JavaScript将数据添加到网页,此类操作不会显示在网页来源

以下内容引自JavaScript&amp; jQuery:David Sawyer McFarland的失踪手册

  

使用JavaScript通过添加操作DOM的一个问题,   更改,删除和重新排列HTML代码是很难的   弄清楚JavaScript的页面HTML是什么样的   完了。例如,每个都可以使用View Source命令   浏览器仅显示从Web下载的网页文件   服务器。换句话说,您可以在更改之前看到HTML   JavaScript,它可以很难弄清楚是否   您正在编写的JavaScript实际上正在生成您所追求的HTML。   例如,如果您可以看到页面的HTML是什么样的   在JavaScript将10条错误消息添加到表单页面之后,或之后   您的JavaScript程序会创建一个精心设计的弹出对话框   完成文本和表单字段,这将是更容易看到   你最终得到了你想要的HTML。幸运的是,最重要的   浏览器提供了一组开发人员工具,可让您查看呈现的内容   HTML-浏览器在JavaScript完成后显示的HTML   魔法。通常,工具显示为浏览器底部的窗格   窗口,在网页下方。使用不同的标签可以访问JavaScript   代码,HTML,CSS和其他有用的资源。选项卡的确切名称   以及打开工具面板的方法因浏览器而异   浏览器:•在Firefox中,安装Firebug插件(在页面上讨论)   477)。使用您希望查看和打开的JavaScript代码打开一个页面   Firebug(工具→Firebug→Open Firebug)。单击中的HTML选项卡   Firebug面板,你会看到完整的DOM(包括任何HTML)   由JavaScript生成)。或者,您可以使用Web Developer   Firefox中的工具栏可供查看   常规HTML源代码和生成的HTML。 •在IE 9中,按   用于打开“开发人员工具”面板的F12键,然后单击“HTML”选项卡   查看页面的HTML。在IE9的情况下,HTML选项卡开始   显示下载的HTML(与View Source命令相同)。但   如果单击刷新图标(或按F5),HTML选项卡将显示   使用任何JavaScript创建的更改呈现HTML。 •在   Chrome,选择查看→开发者→开发人员工具,然后点击元素   浏览器窗口底部面板中的选项卡。 •在Safari中,   确保开发人员菜单已开启(选择Safari→首选项,单击   高级按钮,并确保“在菜单栏中显示开发菜单”   检查。然后打开您感兴趣的页面,并且   选择“开发”→“显示Web检查器”。单击面板中的“元素”选项卡   出现在浏览器窗口的底部。 •在Opera中,选择   工具→高级→Opera Dragonfly。 (Dragonfly是Opera的名字   内置的一组开发人员工具。)在显示的面板中   在浏览器窗口的底部,单击“文档”选项卡。

因此,在JavaScript完成后,剪贴板不会下载页面,它将在任何JavaScript操作之前获得它所看到的内容

你可以看Michael Schrenk谈论Screen Scraper技巧:从困难网站中提取数据

http://www.youtube.com/watch?v=NtffxCi8aq4