Question

我尝试抓取此页面：http://www.11st.co.kr/html/main.html 但是有一些问题。首先，Scrapy无法解释javascript。我想在该按钮（红色方块）中再次抓取一些'href'数据

网站截屏

甚至我也不能使用硒。因为按钮代码在脚本中。所以xpath无法找到。

<script id="headerNavigationTemplate" type="text/x-handlebars-template">
    {{#ifCond templateType '===' 'main'}}
    <nav class="header_gnb" id="gnbNavArea">
    {{else}}
    <div class="header_gnb" id="gnbNavArea">
    {{/ifCond}}
        <div class="inner">
            <h1 class="hide">대메뉴</h1>
            <div class="gnb_l">
                <div class="gnb_nav gnb_nav_category" id="gnbCategoryArea">
                    <p name="gnbNavBtn"><button type="button" class="gnb_btn_all" data-ga-event-category="PC_GNB" data-ga-event-action="전체보기 버튼" data-ga-event-label=""><span class="in_btn"><span class="ico"></span>전체보기</span></button></p>
                    <div class="gnb_nav_category_layer">
                        <div class="gnb_total_category">
                            <div class="row" id="navCtgrRow1"></div>
                            <div class="row" id="navCtgrRow2"></div>
                            <div class="row" id="navCtgrRow3"></div>
                            <div class="row" id="navCtgrRow4"></div>
                            <div class="row" id="navCtgrRow5"></div>
                            <div class="row" id="navCtgrRow6"></div>
                            <div class="row" id="navCtgrRow7"></div>
                            <div class="row" id="navCtgrRow8"></div>
                            <div class="row" id="navCtgrRow9"></div>

我想获取隐藏在

中的数据

//div[@class = "gnb_total_category"]/div

我该怎么爬。请帮帮我。

Answer 1

请尝试使用以下脚本来获取所需数据：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('http://www.11st.co.kr/html/main.html')
driver.find_element_by_xpath("//span[contains(text(), '전체보기')]").click()
print(driver.find_element_by_xpath('//div[@class="gnb_total_category"]/div').text)

Web Scrapy !!如何使用Click事件数据进行抓取？

1 个答案: