从XPATH在每个站点上变化的网站上获取信息,Python

时间:2015-04-05 20:58:28

标签: python python-2.7 dom xpath lxml

如果您以此网站为例:

http://gbgfotboll.se/information/?scr=table&ftid=51168

我正在使用此代码从第二个表中获取信息:

for url in urlList:

    request = net.Request(url)
    response = net.urlopen(request)
    data = response.read()

    dom = lxml.html.parse(BytesIO(data))
    #all table rows


    xpatheval = etree.XPathDocumentEvaluator(dom)
    rows = xpatheval('//div[@id="content-primary"]/table[2]/tbody/tr')

    divName = xpatheval('//*[@id="content-primary"]/h1//text()')[0]
    trash, divisionName = divName.rsplit("- ")

    dict[divisionName] = {}

    for id,row in enumerate(rows):
        columns = row.findall("td")

        teamName = columns[0].find("a").text, # Lag
        print teamName
        teamName
        playedGames = columns[1].text, # S
        wins = columns[2].text,
        draw = columns[3].text,
        lost = columns[4].text,
        dif = columns[6].text, # GM-IM
        points = columns[7].text, # P - last column 

        dict[divisionName].update({id :{"teamName":columns[0].find("a").text, "playedGames":playedGames, "wins":wins, "draw":draw, "lost":lost, "dif":dif, "points":points }})

对于该网站,包含表格[ 2 ]

对于本网站:

http://gbgfotboll.se/serier/?scr=table&ftid=57108

行必须如下所示:

rowss = '//div[@id="content-primary"]/table[1]/tbody/tr'[0]

所以我要问的是,如果有办法获取我需要的信息,无论表格的表索引是什么?

1 个答案:

答案 0 :(得分:0)

一种方法是选择class属性(所有3个类都是必需的):

xpatheval('//div[@id="content-primary"]/table[@class="clCommonGrid clTblStandings clTblWithFullToggle"]/tbody/tr'

另一种方法是在该表中选择一个您知道仅存在于该特定类型的表中的子元素。例如,GM-IM标题可能非常特定于该类型的表,因此我导航到它,然后在树上向上工作,最终得到与您相同的行:

xpatheval('//div[@id="content-primary"]//tr[th="GM-IM"]/../../tbody/tr')