在javascript中查询有关网络抓取的信息:无法抓取某些页面

时间:2020-07-28 16:03:50

标签: javascript web web-scraping

到目前为止,我已经可以使用以下代码在Web上抓取一些页面:

var xmlhttpLocal=new XMLHttpRequest();
xmlhttpLocal.open("GET",linkToOpen, false);
xmlhttpLocal.send();
var parser=new DOMParser();
var xmlDocLocal = parser.parseFromString(xmlhttpLocal.responseText,"text/html");
var fullcontent = new XMLSerializer().serializeToString(xmlDocLocal.documentElement);

但是随后我遇到了一些无法从此代码中解析的页面。我认为这是由于从其源代码调用了一些js。

是否可以通过某种方式对网页进行剪贴以获取所有内容? 我只想使用javascript,而不要使用其他技术,例如node.js / python等。

致谢

0 个答案:

没有答案
相关问题