标签： javascript web-crawler http-post user-agent superagent
所以我一直在寻找一个允许抓取javascript网站的软件包。我一直在尝试selenium，但我不喜欢整个浏览器的交易。
是否有类似 superagent 和 request 的解决方案，您可以在其中发布＆amp;获取请求，还有javascript“已启用”？
答案 0 :(得分：1)
查看scraperjs dynamicScraper函数或phantomjs。 它们都允许运行js而无需加载整个浏览器。 这里是how to wait for some events在页面上的示例