Web Scraping python时按下按钮

时间:2018-01-29 00:09:59

标签: python web-scraping beautifulsoup

我试图刮过here以便能够抓住他们的视频游戏新闻,但他们的格式有一个滑块,您可以在其中选择所需的新闻类型。默认设置为"最新"但是我希望能够激活游戏"按钮,以便从那里提取信息。我怎么用美丽的汤做这个?

1 个答案:

答案 0 :(得分:0)

你可以使用硒。以下是如何做到这一点:

<?xml version="1.0" encoding="utf-8"?>
<layer-list xmlns:android="http://schemas.android.com/apk/res/android">
    <item>
        <color android:color="@android:color/darker_gray" />
    </item>
    <item>
        <shape xmlns:android="http://schemas.android.com/apk/res/android" android:shape="rectangle">
            <solid android:color="@android:color/darker_gray" />
            <stroke android:width="1dip" android:color="@android:color/black"/>
            <corners android:radius="20dp" />
        </shape>
    </item>
</layer-list>

您现在可以解析from selenium import webdriver from bs4 import BeautifulSoup url = "http://www.ign.com/" driver = webdriver.Firefox() driver.get(url) driver.find_element_by_css_selector('.all-games').click() time.sleep(3) html = driver.page_source.encode('utf-8') soup = BeautifulSoup(html) 以获取“游戏”信息。