我们有一个用例,我们在许多集合上监听MongoChangeStream(Op-Logs),然后将更改流的输出推送到内部S3云存储(Amazon SDK API)中。
我们将完整的JSON和增量存储到存储中;每天预计要保留的JSON消息数约为2亿。
据我了解,SDK API不允许批量更新,这意味着该API仅具有put和putALL选项,前提是这种理解是正确的,如何实现上述方案?
我需要每个消息都具有唯一的KEY,这样我才能将所有消息写到文件中并用密钥上传。
上面的KEY-Value组合是必需的,因为我们有一个API可根据业务密钥+版本组合(即KEY)来检索JSON。
赞赏如何实现这一目标的指针。