在cURL下载页面之前等待Javascript？

Question

在卷曲网站之前，如何等待所有Javascript加载？我试图从我的一个页面下载HTML，但它以异步方式获取信息，因此cURL获取一个半载页面。有没有办法让cURL获取一个完全加载的页面？

Answer 1

您需要使用无头浏览器引擎来执行此操作。 cURL和wget是HTTP库;他们说HTTP并将文档下载为文本。他们没有DOM或JavaScript引擎的概念，可以帮助他们理解页面正在进行AJAX。因此，要下载HTML，您需要通过解析DOM并执行JS来更像浏览器。我推荐使用Mozilla引擎的Crowbar。