哪个更好:许多文件或包含大量数据的单个文件

时间:2015-08-30 11:55:56

标签: json

我正在处理大量单独的数据条目,遗憾的是我不知道SQL,因此我需要知道哪种方法存储数据的速度更快。

我有数百个(如果不是数千个)存储用户数据的单个文件。在这种情况下,它们都是字符串的列表,没有别的,所以我一直在逐行列出它们,根据需要访问文件。加密不是必需的。

test
buyhome
foo
etc. (About 75 or so entries)

最近我学会了如何使用JSON并提出了这个问题:将这些文件作为必要的单独文件保留,或者作为一个非常大的JSON文件保存在内存中会更快吗?

2 个答案:

答案 0 :(得分:2)

在内存中访问始终比磁盘访问快得多,但是如果您的内存数据被修改并且系统崩溃,那么如果数据没有丢失那么已保存为持久数据存储的形式。

考虑到你说你正在使用的数据量,你真的应该使用某种类型的数据库。要么删除所有内容并去学习一些SQL(基础知识不是那么难),要么利用你对JSON的了解并查看像MongoDB这样的NoSQL数据库。

您会发现,使用正确的工具进行工作通常可以为您节省更多时间,而不是试图强制您当前必须工作的工具。即使你需要花一些时间来学习新东西。

答案 1 :(得分:0)

首先是:不要将数据保存在内存中。除非您创建像SO或Reddit这样的门户网站,否则RAM作为存储设备是一个坏主意。

第二件事是:读取文件很慢。打开和关闭文件也很慢。尽量保持文件数量尽可能低。

如果您要使用这些文件中的每一个(关键问题是每个),请将它们放在一起。如果您只需要其中一些,请单独存储。