Question

我正在尝试使用python Windmill框架从网页上删除数据。但是我在从页面上获取HTML表格内容时遇到问题。该表由Javascript生成 - 因此我使用Windmill来获取内容。但是，内容不会返回表 - 如果我使用BeautifulSoup尝试解析内容，则会导致错误。

from windmill.authoring import WindmillTestClient
from BeautifulSoup import BeautifulSoup

from copy import copy
import re

def get_massage():
    my_massage = copy(BeautifulSoup.MARKUP_MASSAGE)
    my_massage.append((re.compile(u"document.write(.+);"), lambda match: ""))
    my_massage.append((re.compile(u'alt=".+">'), lambda match: ">"))
    return my_massage

def test_scrape():
    my_massage = get_massage()
    client = WindmillTestClient(__name__)
    client.open(url='http://marinetraffic.com/ais/datasheet.aspx?MMSI=636092060&TIMESTAMP=2&menuid=&datasource=POS&app=&mode=&B1=Search')
    client.waits.forPageLoad(timeout='60000')
    html = client.commands.getPageText()
    assert html['status']
    assert html['result']
    soup=BeautifulSoup(html['result'],markupMassage=my_massage)
    print soup.prettify()

当您查看汤中的输出时，表格丢失，但如果您使用类似firebug的内容查看网页内容，则会显示该表格。总的来说，我正在尝试获取表内容并将其解析为某种数据结构以供进一步处理。非常感谢任何帮助！

Answer 1

问题是你正在使用的标记按摩对你正在处理的页面工作不正常，也就是说，它正在移除更多的html代码。

要验证BeautifulSoup是否能够解析您需要的网页，我只是尝试了这个：

soup = BeautifulSoup(html['result'])
soup.table

并且它工作正常，所以在这种情况下似乎根本不需要任何标记按摩。

风车没有得到所有的HTML内容

1 个答案: