如何使用搜索按钮抓取网站

时间:2016-11-06 20:10:55

标签: ruby web-scraping

我有这个网站:codigos如果你看一下,左边有一个选择字段,右边有一个go按钮,我需要抓一些左边的项目。

但是,我怎么能告诉ruby如何访问该选择字段然后进行搜索并刮掉它?

我见过登录表单的例子,但我不知道它是否真的适合这种情况。

1 个答案:

答案 0 :(得分:1)

<select>标记包含在<form>标记中,因此您需要找到form,然后您可以通过传递选择列表的名称并指定选项来设置该选项。适当的选择:

require 'mechanize'

mechanize = Mechanize.new
page = mechanize.get('http://comext.aduana.cl:7001/codigos/')

form = page.forms.first
form["wlw-select_key:{actionForm.opcion}"] = "Aduana"

result_page = form.submit
result_page.uri #=> http://comext.aduana.cl:7001/codigos/buscar.do;jsessionid=2hGwYfzD76WKGfFbXJvmS2yq4K19VnZycJfH8hJMTzRFhln4pTy2!1794372623!-1405983655!8080!-1