从没有通过URL提供javascript参数的站点刮取数据

Question

我试图从http://spinning.com/find-a-class抓取数据。问题是当我更改Zip和半径时，URL没有改变。我不确定如何制作它以便我可以打开要删除的特定Zip的网页。

我想知道如何让网站打开并且已经指定了特定的zip。我在python中刮。我不熟悉javascript，所以我不确定如何继续。提前致谢。

Answer 1

监控网络请求表明它正在调用此API：

import requests
url = 'https://www.bullseyelocations.com/pages/MDDGTEST?f=1'
rs = requests.post(url, data={
    'ctl00$ContentPlaceHolder1$hfTotalPages': 1,
    'ctl00$ContentPlaceHolder1$hfResultsPerPage': 20,
    'ctl00$ContentPlaceHolder1$txtCityStateZip': 'New York, NY',
    'ctl00$ContentPlaceHolder1$hfCountry': 'United States',
    'ctl00$ContentPlaceHolder1$radiusList': 5})