标签： python web-scraping
我正在努力为每个与美国农作物农场相关的业务提供信息，年收入超过5,000,000美元。问题是，当我更改搜索参数中的选项时，它不会更改URL ...所以我不确定如何进行这样的项目......任何帮助都将不胜感激！
这是我试图抓的网站：http://listings.findthecompany.com/d/a/Crop-Farms
答案 0 :(得分：0)
如果您捕获网络，则可以看到网页在您点击搜索时会拨打电话。
http://listings.findthecompany.com/ajax_search?_len=20&page=0&app_id=1662&_sortfld=sales_volume_us&_sortdir=DESC&_fil%5B0%5D%5Bfield%5D=sic_1_4digit&_fil%5B0%5D%5Boperator%5D=%3D&_fil%5B0%5D%5Bvalue%5D=0191&_fil%5B1%5D%5Bfield%5D=_sphinx_universal_search&_fil%5B1%5D%5Boperator%5D=LIKE&_fil%5B1%5D%5Bvalue%5D=Apple&_fil%5B1%5D%5Bignore%5D=false&_tpl=srp&head%5B%5D=company_name&head%5B%5D=_GC_address&head%5B%5D=total_employees&head%5B%5D=employees_here&head%5B%5D=sales_volume_us&head%5B%5D=year_started&head%5B%5D=citystate&head%5B%5D=localeze_classification&head%5B%5D=id&head%5B%5D=_encoded_title&dir_field_1=207944
您可以实际检查不同的参数并获取所需的所有数据。 我使用了Apple＆＃39; Apple＆＃39;作为搜索词，作为参数传递。