是否有一个简单的类/库使用pyQT / webkit来抓取支持javascript的网站?

时间:2010-11-15 17:50:02

标签: python webkit pyqt web-scraping

我正在考虑使用pyQT来搜索支持javascript的网站,在涉及所有静态html替代品(beautifulsoup,mechanize等)之后。

显然,pyQT是一种更通用的工具,因此不能根据我的需求进行优化。

是否有任何类/库为我提供了使用pyQT进行相对简单的抓取任务的简单函数?

我通过搜索谷歌找到了一些课程/脚本,但我希望有更适合我需要的东西!

我需要提交表单,维护会话,并返回html以便用lxml进行处理。

谢谢:)

1 个答案:

答案 0 :(得分:1)

您可能需要查看spynner - 这是一个基于QtWebKit的编程浏览器模块。它可能会满足您的需求。