处理和处理数据的最快方法

Question

我有一个非常大而重要的项目，但是在选择一种处理数据的方式时遇到了问题。

• 数据库 ：如果我使用数据库，则可以对它们进行排序和过滤。您是否认为以这种方式过滤数据会更快，还是应该用python编码？一个以上的软件同时请求数据或过滤或任何其他过程到数据库会出现问题吗？
• 文件 ：我当前正在使用文本文件来处理数据，并从中提取数据，但是我有很多线程和多处理功能应该打开同一文件。因此有时会出现错误，并说“错误：权限被拒绝”，这是合理的。

因此，我的软件需要进行大量数据处理和过滤（使用某些条件），有时需要通过许多函数或其他python脚本同时打开和访问数据，从而在文件中出现错误（权限被拒绝）。

所以我该如何过滤和处理数据而不会出现任何错误。我应该使用什么工具？ 我需要一种快速的方法来完成所有这些操作。

注意：每10秒钟，数据将更新一次

Answer 1

如果要执行频繁的数据操作，建议在文件系统上使用数据库