可以使用scrapy来完成表单提交,并完成浏览器可以执行的所有操作

时间:2013-01-11 06:08:16

标签: python scrapy phantomjs casperjs

我有一项任务,我需要向网站提交表单,但他们不提供任何API。我目前正在使用webdriver并且由于我的代码和浏览器之间的异步性质而面临许多问题。我正在寻找一个轻量级可靠的库/工具,我可以完成用户使用浏览器完成的所有任务。

Casperjs是可以完成我的工作的选择之一,但我对python更熟悉,scrapy有更大的开发者社区与casperjs相比。

Navigation utility without browser, light weight and fail-proof是相关问题之一。

2 个答案:

答案 0 :(得分:2)

简短回答是。 scrapy无法呈现java脚本,但浏览器可以。

你可以使用Selenium。

如果您确定使用scrapy并且需要运行javascript,则可以使用

scrapy with selenium

scrapy with gtk/webkit/jswebkit

scrapy with webdrivers

答案 1 :(得分:1)

如果您喜欢CasperJS但想要坚持使用Python,那么您应该看看Ghost.py