Portia,如何将数据保存到数据库?

时间:2014-12-21 14:55:59

标签: python scrapy portia

在portia中,我想将数据保存到像Mysql这样的数据库,或者做些什么来清理数据,但我不知道该怎么做,你能给我一些建议。 我是scrapy的新手,我会在网上等待,非常感谢你!

1 个答案:

答案 0 :(得分:2)

您需要添加一个新的项目处理管道,用于将数据存储到MySQL。为此,您需要转到Portia项目文件夹,添加一个新的pipelines.py文件,该文件可以将数据保存到MySQL并编辑settings.py文件以使用此管道。

以下是用于在MySQL中存储数据的项目管道的示例

https://github.com/darkrho/dirbot-mysql/blob/master/dirbot/pipelines.py#L36

以下是有关如何启用管道及其工作原理的文档

http://doc.scrapy.org/en/latest/topics/item-pipeline.html