request.get不能在python scraper中工作

Question

您好我正在努力使这个基本的刮刀工作，它应该去一个网站填充＆＃34;城市＆＃34;和＆＃34;区域＆＃34; ，搜索餐馆并返回html页面。

这是我使用

的代码

payload = OrderedDict([('cityId','NewYork'),('area','Centralpark')])

req = requests.get("http://www.somewebsite.com",params=payload)

f = req.content 
soup = BeautifulSoup((f))

以下是源HTML的外观

当我检查生成的汤变量时，它没有搜索结果，而是仅包含来自第一页的数据，其中包含输入城市和区域值的表格（即www。 somewebsite.com，我想要的是www.somewebsite.com?cityId=NewYork&area=centralPark）的结果。那么有什么我必须通过该params明确按下搜索按钮或有任何其他方式使其工作。

Answer 1

您首先需要检查是否可以通过网络浏览器访问该网址并获得正确的结果。