我使用scrapy从网站上抓取一些文字。但我不太确定如何将它们存储在sqlite中？任何人都可以帮我解决这些问题吗？
答案 0 :(得分：3)
虽然您可以找到一些使用阻止操作与数据库交互的示例，但值得注意的是scrapy是建立在扭曲库之上的，这意味着它的核心只有一个所有操作都有一个循环的线程，所以当你执行类似的操作时：
self.cursor.execute(...)
整个系统正在等待数据库的响应，包括等待执行的http请求等。
话虽如此，我建议您检查此代码段https://github.com/riteshk/sc/blob/master/scraper/pipelines.py
使用twisted.enterprise.adbapi.ConnectionPool比简单的阻塞数据库访问代码稍微复杂一点，但它与scrapy使用io操作的方式相得益彰