很多数据记录，数据库或文件的架构？

Question

我正在开发一个Python应用程序，我想要可扩展，以容纳每秒约150次写入。这在大约50种不同来源中分散。

Mongodb是否适合这个？我在写入数据库时​​只是分开，或者只是为每个源创建一个日志文件并单独解析它们。

记录大量数据的其他任何建议？

Answer 1

我会说mongodb非常适合日志集合，因为：

1. Mongodb有惊人的快速写入
2. 日志不是那么重要，因此如果服务器出现故障，可以将其中一些丢失。因此，您可以运行mongodb 而不使用journaling 选项来避免写入开销。
3. 此外，您可以使用分片来提高写入速度，同时您可以将最旧的日志移至单独收集或文件系统。
4. 您可以轻松 export数据从数据库到json / csv。
5. 一旦您拥有数据库中的所有内容，您就可以查询数据以查找所需的日志。

所以，我认为mongodb完全适合日志这样的东西。您无需在文件系统中管理大量日志文件。 Mongodb为你做到这一点。