当我提取的数据与" view-source"不同时,如何从网站中提取源代码?在我的浏览器中?

时间:2015-12-07 18:33:05

标签: vba web-scraping web-crawler source-code-protection

我正在抓取a crowdfunding music based website的数据。用于研究目的。我特意试图获取Rock' Rock下的项目数据。网站上的类型,但是当我使用我的网络抓取工具获取源代码时,它与我所看到的不同,如果我" view-source"在我的浏览器上分析网站时,无法找到我需要的数据。

我检查了网站,并试图确定数据来源但没有成功。这是抓取网站时的常见问题吗?

我使用的网络抓取工具是用VBA编写的,并且已经被用来从其他网站上抓取数据,这是我第一次遇到这样的事情。

1 个答案:

答案 0 :(得分:0)

您尝试访问的数据必须是从该页面上的JavaScript生成的,这就是您无法在视图源中看到它的原因。要进行计数器检查,您可以在Chrome中检查'然后去查看源代码。比较同一页面的数据,JavaScript生成的数据将在检查窗口中,但不在视图源中。