使用动态列表进行网页抓取

时间:2018-08-25 17:46:17

标签: python

我正在尝试清除啤酒商协会页面(https://www.brewersassociation.org/directories/breweries/)上列出的所有啤酒厂,并且在Google上进行了大量搜索,并尝试了多种方法来获取它,但是我是网络抓取的新手,可以不知道。我正在使用Beautiful Soup,但是如果这种页面有更好的选择,我会很乐意切换。在多次返回错误的失败尝试中,我至少尝试了下面的代码。

brew_name = soup.find(id='ajax-content').find_all(class_=re.compile('name'))

brew_name = soup.find(id='ajax-content')

第一个返回一个空白集,第二个返回

<div class="with-results" id="ajax-content"><!--Dynamically Filled in--></div>

任何帮助我朝正确方向前进的帮助将不胜感激!

0 个答案:

没有答案