阅读50GB JSON文件并进行处理

Question

我有一个50GB的JSON文件，我希望由我的Java应用程序读取，每个记录都被转换为POJO并逐个放入队列，由一个单独的应用程序处理。

通常，我会使用BufferedReader，但我想知道对于那些大小的文件，最佳做法是什么。我现在正在看Java.nio。那会合适吗？

如果一条记录损坏，我也希望处理文件不被停止。我不想让一个鸡蛋破坏篮子，可以这么说。

Answer 1

您正在寻找的是流式反序列化，您可以使用gson，请参阅https://sites.google.com/site/gson/streaming以获取一些好的示例。