如何使用Pyquery与scrapy？

Question

我的目标是将pyquery与scrapy一起使用，显然来自scrapy.selector导入PyQuerySelector 会在抓取蜘蛛时返回 ImportError：无法导入名称PyQuerySelector 。

我遵循了这个特定的要点https://gist.github.com/joehillen/795180来实现pyquery。

任何可以帮助我完成这项工作的建议或教程？

Answer 1

你声明一个类并制定规则并在规则提取器的回调属性中默认给出parse_item scrapy进行解析（）函数

def parse_item(self, response):
pyquery_obj = PyQuery(response.body)

header = self.get_header(pyquery_obj)
return {'header': header,
}


def get_header(self, pyquery_obj):
return pyquery_obj('#page_head').text()