我正在尝试对数百亿个文件执行此操作,因此我需要尽可能最轻便的方法。这些是AWS Data Events,因此结构如下:
{
"Records": [
{
"eventVersion": "1.05", ... --nested arrays [] and {} in here
},
{...}, --potentially many thousands of records
{...}
]
}
我想要的输出将是JSON文件
{...}
{...}
{...}
最轻巧/快速/高效的方法是什么?理想情况是高度可并行化的。
我现在在Go中有一个复杂的过程,这需要花费很多时间。