更快速地解析JS生成的站点

时间:2014-01-29 16:35:32

标签: python performance parsing web-scraping

我正在创建一个脚本,必须每天至少1000次从JS生成的站点(使用python)解析。以通常的方式解析(使用浏览器打开然后获取代码)需要大约30秒。哪个不太令人满意。我想过如何让这个过程更快,我有一个想法 - 是否有可能创建一个不创建窗口的浏览器(忽略可视部分),而只是一个过程,换句话说就是一个“看不见的”浏览器。我想知道的是,它是否有效,是否有其他方法可以让它运行得更快。任何帮助表示赞赏。

编辑:这是我的解析器的代码

from selenium import webdriver
import re
browser = webdriver.Firefox()
browser.get('http://www.spokeo.com/search?q=Joe+Henderson,+Phoenix,+AZ&sao7=t104#:18643819031')
content = browser.page_source
browser.quit()

0 个答案:

没有答案