使用Java处理文件

Question

我有一个疑问，关于用Java处理大型文件的最佳方法是什么？ 我们应该使用像Cassandra这样的no-sql数据库，还是尝试使用我们现有的Oracle数据库（转储文件的内容）。

我的文件最多可以包含1或2个字段。但是，我基本上可以处理文件内容就是搜索一个ID并返回布尔值。 文件可以包含数千万或低至数千的记录。 此文件也可以每天刷新。每当刷新时，我都需要清除所有以前的值。

任何建议都会有帮助！

关于， 薇姬

Answer 1

根据您的要求，

Oracle

1. 如果每天的数据量达到数千万，则非常适合索引并满足您的要求。
2. 索引将存储在内存中，并且搜索此简短数据的速度更快。如果表也很短，您还可以请求将表保留在内存中，如果还需要其他任何列，则速度会更快。
3. 您可以每天删除表，然后再次将文件作为新表导入。这应该起作用。

卡桑德拉

1. 也适合索引。您所有的搜索也将更快（类似于oracle这样小的数据）
2. Cassandra是NoSQL数据库，旨在提供可伸缩性，高写入吞吐量，大容量数据和查询的可用性。
3. 对于上述属性，Cassandra通常在群集环境中运行。

我建议检查您的要求，如果您只是想将数据保存在数据库中，并且想要每秒查询一次，或者每秒要查询100个请求，那么使用Cassandra就像用大锤砸墙一样，那里有小锤子或木槌。足够。