Question

我正在使用Scrapy构建一个爬虫。我需要将font-family分配给特定的HTML元素。

假设有一个css文件styles.css，其中包含以下内容：

p {
    font-family: "Times New Roman", Georgia, Serif;
}

在HTML页面中有如下文字：

<p>Hello how are you?</p>

我很容易使用Scrapy提取文本，但是我也想知道应用于 Hello的字体系列你好吗？

我希望这只是（假想的XPATH）/p[font-family]或类似的情况。

你知道我怎么做吗？

感谢您的想法。

Answer 1

你需要单独下载和解析css。对于css解析，您可以使用tinycss甚至正则表达式：

import tinycss
class MySpider(Spider):
    name='myspider'
    start_urls = [
        'http://some.url.com'
    ]
    css_rules = {}

def parse(self, response):
    # find css url and parse it
    css_url = response.xpath("").extract_first()
    yield Request(css_url, self.parse_css)

def parse_css(self, response):
    parser = tinycss.make_parser()
    stylesheet = parser.parse_stylesheet(response.body)
    for rule in stylesheet.rules:
        if not getattr(rule, 'selector'):
            continue 
        path = rule.selector.as_css()
        css =  [d.value.as_css() for d in rule.declarations]
        self.css_rules[path] = css

现在您有一个包含css路径及其属性的字典，您可以稍后在您的蜘蛛请求链中使用它来分配一些值：

def parse_item(self, response):
    item = {}
    item['name'] = response.css('div.name').extract_first()
    name_css = []
    for k,v in css_rules.items():
        if 'div' in k and '.name' in k:
            name_css.append(v)
    item['name_css'] = name_css

（Scrapy）如何获取HTML元素的CSS规则？

1 个答案: