Question

我正在寻找抓取该页面SVG元素的数据：

https://www.beinsports.com/au/livescores/match-center/2019/23/1074885

该页面似乎是用Javascript呈现的，因此无法正常使用Python中的BeautifulSoup。我在Inspect Network XHR中进行了刷新，并且该页面也没有以JSON格式存储数据。但是，当刷新网络中的JS页面时，我看到了F24_8.js，它在预览中准确显示了我想要捕获的馈给SVG元素的内容：

是否有一种方法可以从selenium中运行脚本作为示例来模仿javascript渲染并检索此处有争议的后端数据？

根据注释中的一个请求，我在下面添加了一个脚本，该脚本可用于该域不再支持的相似页面。在这种情况下，鉴于存在XML脚本，执行脚本以对XML进行序列化会更直接，并且该页面不显示行级详细信息，而是脚本提供了呈现工具中使用的行级数据：

from bs4 import BeautifulSoup
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui import WebDriverWait
import selenium
from selenium import webdriver
import re
import math
import time

games=[]

browser = webdriver.PhantomJS()
browser.get("http://www.squawka.com/match-results")
WebDriverWait(browser,10)

mySelect = Select(browser.find_element_by_id("league-filter-list"))
mySelect.select_by_visible_text("German Bundesliga")

seasons=['Season 2012/2013','Season 2013/2014','Season 2014/2015','Season 2015/2016','Season 2016/2017','Season 2017/2018']
for season in seasons:
    nextSelect = Select(browser.find_element_by_id("league-season-list"))
    nextSelect.select_by_visible_text(season)

    source=browser.page_source
    soup=BeautifulSoup(source,'html.parser')
    games.extend([a.get('href') for a in soup.find_all('a',attrs={'href':re.compile('matches')})])

    pages=math.ceil(float(soup.find('span',{'class':'displaying-num'}).get_text().split('of')[-1].strip())/30)
    for page in range(2,int(pages)+1):
        browser.find_element_by_xpath('//a[contains(@href,"pg='+str(page)+'")]').click()
        source=browser.page_source
        soup=BeautifulSoup(source,'html.parser')
        games.extend([a.get('href') for a in soup.find_all('a',attrs={'href':re.compile('matches')})])

    print '---------\n'+season+' Games Appended'

import pandas as pd
import numpy as np
import lxml.etree as etree

frames=[]
count=0
for game in g2:

    try:
        url = game

        browser = webdriver.PhantomJS()
        browser.get(url)

        time.sleep(10)

        page = browser.execute_script('return new XMLSerializer().serializeToString(squawkaDp.xml);')
        root = etree.XML(page.encode('utf-8'))

        #events
        gm=pd.DataFrame()
        for f in root.iter('filters'):
            for a in f:
                for event in a.iter('event'):

                    d=event.attrib
                    records=dict((x,[y]) for x,y in d.items())
                    new_records=dict((x.tag,[x.text]) for x in event)

                    r=pd.DataFrame(records)
                    nr=pd.DataFrame(new_records)
                    j=r.join(nr)
                    j['category']=a.tag

                    gm=gm.append(j)

我认识到脚本的不完整性，但是剩余的细节对于眼前的问题不是必需的。

Answer 1

如果使用Selenium，则可以使用driver.execute_script("your script here")在页面上运行Javascript。

我仅在非常短的脚本（例如arguments[0].click();）中使用了此方法，但是成功了，但是我不确定在较长的脚本中如何使用。

driver = new webdriver.Chrome()

driver.execute_script("your script here")

您还可以使用Javascript中的arguments[0]针对WebElement运行脚本。

my_element = driver.find_element_by_xpath("//div[text()='someText']")

driver.execute_script("arguments[0].click();", my_element)

这会将my_element作为this传递到JS函数中。

在Selenium中抓取Javascript呈现的网页元素

1 个答案: