无法使用Jackson在Jackson ArrayNode中从Amazon S3读取内存中的大型JSON文件

Question

我正在尝试读取一个非常大的JSON文件，该文件存储在Amazon S3上，包含大约30,000条记录，大小为100 MB。

我正在尝试用Java读取JSON ArrayNode中的所有记录。我无法读取内存中的所有记录。它读取最多3619条记录，然后我的服务器重新启动。我也无法在日志中找到此问题的任何日志痕迹。

任何人都可以帮我解决这个问题。

感谢。

Answer 1

请使用S3控制台从S3下载文件，然后根据需要修改此perl脚本以查看您下载的数据是否实际上是有效的Json：

use warnings FATAL => qw(all);
use strict;
use Carp;
use Data::Dump qw(dump);
use JSON;

my $File = "....";       # File name containing downloaded JSON
open(my $f, "<$File") or die "Cannot open file $File for input";
local $/;                # Enable localized slurp mode
my $j = <$f>;
my $d = decode_json $j;

print dump($d);