如何使用Python3,Beautifulsoup和Selenium进行Web抓取

时间:2018-07-04 13:29:56

标签: python ajax selenium web-scraping beautifulsoup

我目前正在使用Python3学习网络抓取,并尝试使用BeautifulSoup4和Selenium抓取this page。在为该网站编写代码时,我遇到了一个难题,即我很难找出解决方案。当您从给定的网站键入任何城市并单击Enter时,将显示许多餐馆。接下来,单击检查元素,您将能够找到以下显示商店列表的示例代码。

<div class="base_ " style="contain: size layout; height: 31120px;">
  <div style="transform: translateY(0px);">
    <div class="base_ ue-j4" style="margin-left: -32px; margin-bottom: 32px;">...</div>
    <div class="base_ ue-j4" style="margin-left: -32px; margin-bottom: 32px;">...</div>
    <div class="base_ ue-j4" style="margin-left: -32px; margin-bottom: 32px;">...</div>
    <div class="base_ ue-j4" style="margin-left: -32px; margin-bottom: 32px;">...</div>
    <div class="base_ ue-j4" style="margin-left: -32px; margin-bottom: 32px;">...</div>
    <div class="base_ ue-j4" style="margin-left: -32px; margin-bottom: 32px;">...</div>
  </div>
</div>

但是,当我滚动鼠标时,由于<div class="base_ ue-j4"..>中出现“指针事件:无”而导致<div class="base_ " ...>的数量发生了变化,并且<div style="transform: translateY(0px);">中的0px也随着我的滚动而增加鼠标。

是否可以通过动态html列表检索所有商店列表?我有一些人告诉我在“网络”标签中使用XHR进行检索,但是我没有知道我该怎么用。任何对此有帮助的人将不胜感激。

0 个答案:

没有答案