是否有网络爬虫支持javascript执行

Question

Scrapy是一个很好的爬虫，但它缺乏javascript支持。

我想要一个开源的爬虫，更好用python编写，可以支持javascript执行，有什么建议吗？

Answer 1

尝试selenium，它可以直接注入浏览器并支持许多浏览器/ WebKit，包括：Firefox，Chrome，IE，Opera，PhantomJS。

注意：
- 建议使用Firefox，不支持安装额外的webdriver。还有一个强大的插件可以自动生成代码：https://addons.mozilla.org/en-US/firefox/addon/selenium-ide/
- 完整的网络驱动程序列表可在以下位置找到：http://selenium-python.readthedocs.io/api.html
- 代码示例可在以下网址找到：http://selenium-python.readthedocs.io/waits.html