google.com上使用xpath进行scrapy问题

时间:2015-12-30 23:47:36

标签: python xpath web-scraping scrapy

scrapy或我的错误中有一个错误。

class DmozSpider(Spider):
    name = "dmoz"
    allowed_domains = ["google.com"]
    start_urls =["http://www.google.ru/search?q=gabber"]


    def parse(self, response):
        sel = Selector(response)
        sites = sel.xpath("//div[@id='ires']/ol/li/h3[@class='r']")
        items = []

        for site in sites:
            item = Website()
            item['url'] = site.xpath("//li[@class='g']/h3/a/@href").extract()
            items.append(item)

        return items

问题是整页上的项目搜索元素,而不是'网站' 在其他网站(如dmoz)上正常工作(仅在'网站'元素中搜索)。
我想这是scrapy bug?

0 个答案:

没有答案