在抓取时以Google支持的形式提交价值

Question

我正在尝试使用Mechanize＆amp; amp; s刮取在线食品订购网站。 BS4。我面临的问题是该网站有一个表格，该表格将位置作为由Google提供支持的输入。当我尝试使用这种方法填充它时：

from bs4 import BeautifulSoup as bs
import requests, lxml, mechanize

url = raw_input("Enter URL: ")
browser = mechanize.Browser()
browser.open(url)

# 'placeSelectionForm' is the name of the input-field
browser.select_form(name='placeSelectionForm')
control1 = browser.form.controls[0]
control1._value = 'Koramangala'
browser.submit()
soup = bs(browser.response().read(), "lxml")
print soup.prettify()

该脚本适用于我制作的普通django表单。但问题是Google支持的表单使用自动完成API，如下所示：

因此，当我输入某个位置的首字母时，会有自动完成的建议，只要我选择一个选项，表单就会自动提交，然后我会转到新的网址。

现在，新页面的URL问题在于，无论我在表单中选择了什么选项，URL都保持不变，响应附带的值会因我在上一页选择的选项而有所不同。

如何使用Mechanize或BS4等工具填写此表单（由Google maps api提供支持）？

Answer 1

这是一个非常Javascript“沉重”的网站，您可能会发现很难使用mechanize进行自动化。您可以通过以下方式进行搜索，选择其中一条建议并等待selenium加载结果：

# -*- coding: utf-8 -*-
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Firefox()
driver.maximize_window()
driver.get('http://www.swiggy.com/bangalore')

# wait for input to appear and make a search
wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.ID, "pac-input"))).send_keys("Koramangala")

# wait for suggestions to appear
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "div.pac-container div.pac-item")))

# choose the first suggestion
suggestions = driver.find_elements_by_css_selector("div.pac-container div.pac-item")
suggestions[0].click()

# wait for results to load
wait.until(EC.visibility_of_element_located((By.ID, "restaurants")))

# TODO: extract results

我添加了评论以明确说明。如果您希望我扩展代码的任何部分，请告诉我。