我正在寻找一种无需创建数据管道就将CSV /镶木地板数据上传到dynamo数据库的方法。
我有一个小文件（12mb实木复合地板/ 30mb CSV），其中包括两列。它每天生成一次，并且发电机表每天都需要完全刷新。
起初，我决定使用AWS Athena，该工具非常易于设置。但是对于读取来说，它很慢（每个查询需要1.5到4秒）。该过程可能会在不久的将来被公司中的其他人使用，因此我现在正在寻求更快的解决方案。
我研究了Dynamo DB的批写入项功能。但是，每天要进行大约500,000 / 25个电话来更新此相对较小的表，感觉效率非常低。
令人沮丧的是，使用batchwriteitem的单个调用的最大大小为16mb，每行400kb。几乎是文件本身的大小。
我研究了将数据作为一长行发送并拆分的问题。但是我找不到这样的操作。好奇是否有人对此有任何投入。