scrapy或我的错误中有一个错误。
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["google.com"]
start_urls =["http://www.google.ru/search?q=gabber"]
def parse(self, response):
sel = Selector(response)
sites = sel.xpath("//div[@id='ires']/ol/li/h3[@class='r']")
items = []
for site in sites:
item = Website()
item['url'] = site.xpath("//li[@class='g']/h3/a/@href").extract()
items.append(item)
return items
问题是整页上的项目搜索元素,而不是'网站'
在其他网站(如dmoz)上正常工作(仅在'网站'元素中搜索)。
我想这是scrapy bug?