自动浏览复杂的网页

时间:2011-06-14 21:40:46

标签: webkit beautifulsoup mechanize

我的项目涉及复杂网页的大量自动化。

我意识到有机械化和美丽的汤,但是当处理大量的DOM脚本和你在复杂的网页上发现的其他奇怪的东西时,这些不会中断吗?

我想我基本上想要一个运行WebKit实例的准系统,它允许我做“GUI脚本”或访问DOM。想法?

3 个答案:

答案 0 :(得分:0)

你在做什么平台?你打算用什么语言?

Adob​​e Air允许您在Air应用程序中嵌入webkit并与页面JavaScript交互(页面JS和AIR运行时之间存在双向通信)。

否则,如果您不受webkit的约束,可以将Mozilla Chromeless用于旋转。

我很抱歉,如果这不能做你需要做的事情,我无法确定你到底想要做什么(页面抓取?提交表格?)。

答案 1 :(得分:0)

对于测试/抓取,我会尝试:

答案 2 :(得分:0)

使用PhantomJS尝试Sahi。 Sahi是一个浏览器自动化工具,PhantomJS是一个无头Webkit浏览器。您可以在此处找到设置说明:http://sahi.co.in/w/sahi-headless-execution-with-phantomjs

免责声明:我们创建了Sahi产品。