Question

Mechanize在此页面上找不到表单。所以我试图通过输入填写。问题是该表单是Google自动填充功能。首先，我需要填写输入，然后从下拉列表中选择一个城市。所以我试过的是：

agent = Mechanize.new
page = agent.get("https://www.airbnb.com/host/homes")
location = agent.page.search(".earning-estimation__location-input")
location.at("input")['value'] = 'kiev'
location.at("input")[0].select

得到：

NoMethodError: private method `select' called for nil:NilClass

P.S。首先我没有找到AirBnB API。所以我潜入机械化。如果有AirBnB API链接，表示赞赏。

Answer 1

你的问题并没有真正包含一个问题，所以我最擅长的目的是：

鉴于我在这个页面上没有看到太多动作，我假设您希望获得各个领域的每周平均费率。

根据自动完成，您实际上不需要填写下拉列表。通过从Google地理编码API获取lat / lon并将其传递给https://www.airbnb.com/wmpw_data来提供此交互。

对于需要javascript才能运行的网站（如此），您有两种选择：

对他们使用的API进行反向工程（例如下面的示例）
使用Selenium / WebDriver等框架，使用完全原生浏览器浏览网站。

要对API进行反向工程，Web调试代理工具非常有用。您可以通过查看浏览器开发工具“网络”选项卡获得大量信息，但“Fiddler”，“Charles Proxy”，“Burp”等内容非常宝贵。

检查流量时，您会看到以下参数可用于发送请求：

页
持续时间
person_capacity
room_type
装载
sw_lat
sw_lng
NE-纬度
ne_lng

您可以使用

之类的内容找到一些有效的值

[37] pry(main)> page.css("[data-room-type]").map{|n| n["data-room-type"]}.uniq
=> ["entire_home_apt", "private_room", "shared_room"]

如果您将各种lat / lng值设置为适合您的物品，您将获得该区域的每周平均价格。我注意到“localized_place”报告我的个人区域，无论纬度/经度变化如何，但金钱价值实际上正在发生变化，并且与网站显示的内容相匹配。也许该属性基于IP位置，或者存在某些不妥之处。

虽然值似乎随着sw / ne界限的越来越大的区域而缩放，但您也可以对两者使用相同的lat / lng并仍然获得结果。它可能无法准确反映Google Geocoder如何引用某个地点 - 但它可能足以满足您的需求。

获得lat / lng后，您可以直接将其提供给他们的API。

这似乎是一个有效的例子：

require 'mechanize'
agent = Mechanize.new
page = agent.get "https://www.airbnb.com/host/homes"

room_types = page.css("[data-room-type]").map{|n| n["data-room-type"]}.uniq

# Values for near Charleston, WV, a random place from Google Maps
sw_lat = '38.360928'
sw_lng = '-81.6464767'
ne_lat = sw_lat
ne_lng = sw_lng
duration = '1_week'
person_capacity = 1
room_type = room_types.first # => 'entire_home_apt'

url = "https://www.airbnb.com/wmpw_data?page=slash_host&duration=#{duration}&person_capacity=#{person_capacity}&room_type=#{room_type}&loading=false&sw_lat=#{sw_lat}&sw_lng=#{sw_lng}&ne_lat=#{ne_lat}&ne_lng=#{ne_lng}"

money = agent.get(url).body

require 'json'
JSON.parse(money)["data"]
# => {"average_income_raw"=>385.0,
#     "average_income"=>"$385",
#     "localized_place"=>"xxx",
#     "list_your_space_link"=>"https://www.airbnb.com/rooms/new",
#     "earning_estimation_duration"=>"1_week",
#     "localized_market"=>"Other (International)"}

机械化与谷歌自动完成

1 个答案: