我正在尝试从以下网址中抓取所有囚犯信息的列表:
http://sccounty01.co.santa-cruz.ca.us/SHF/New%20SearchWarrants/Default.aspx
鉴于我目前的经验水平,我认为最好的选择是使用Selenium驱动程序:(1)在“姓氏”字段中输入“ a”,(2)单击查找,(3)获得一个每个犯人从“查看详细信息”获得的二级链接列表,(4)单击“新名称搜索”返回搜索页面,(5)在“姓氏”字段中输入“ b”,依此类推...(以及一旦我为姓氏从A到Z的每个犯人编译了链接,请刮擦每个页面。
^这似乎是一个非常缓慢的过程。是否有人建议通过执行JS,使用其他工具等来加快速度?有什么方法可以访问后端数据库,而不必模拟有人手动搜索/单击每个字母?