存储临时数据以进行处理的最有效方法是什么？

Question

我在Ruby中编写一个应用程序，它从API调用中收集大量数据并将其存储在一个文件中。之后，它逐个处理它。我想知道是否有更好的方法来实现同样的目标？

注意：我想通过在本地存储所有记录来逐个处理这些记录，因为它们可能会在API调用期间发生变化。

Answer 1

我会考虑将信息存储在内存中的键/值存储（例如memcached或redis）中。如果使用内存中的键/值存储，则可以根据后续API调用更新信息，而不是在文件中包含表示相同数据的多个记录，只需使用不同的值。

但请记住，如果您的数据非常大，则可能会耗尽内存。也就是说，如果您使用的是千兆字节的数据，那么实施解决方案的方式可能是最佳选择。