为什么选择MongoDB收集易碎数据?

时间:2019-04-14 18:46:40

标签: python mongodb scrapy

为什么MongoDB经常被推荐用于抓取数据? 使用NoSQL和SQL是否会对性能产生重大影响?

我最好的猜测是Mongo或任何NoSQL都提供了存储动态不规则/丑陋数据(如Web数据)所需的灵活性。 Mongo可以随着项目/数据需求的变化而发展,并且可以脱离SQL所需的严格模式。

1 个答案:

答案 0 :(得分:1)

我更深入地研究了为什么使用Mongo的一些有用的参考资料,其中大部分围绕NoSQL的灵活性,因为数据可以是非结构化的:

主要区别:

https://medium.com/xplenty-blog/the-sql-vs-nosql-difference-mysql-vs-mongodb-32c9980e67b2

https://db-engines.com/en/system/Microsoft+SQL+Server%3BMongoDB

性能:

Any detailed and specific reasons for Why MongoDB is much faster than SQL DBs?

尽管没有人专门解决为什么将NoSQL用于Scrapy的问题,但是这似乎暗示着假定的数据被认为是非结构化的,并且固有地是混乱的,因此很难在关系数据结构中实现。最初,这对我来说并不明显,因为我的数据是结构化的,但是随着项目规模的扩大,它变得越来越小。