dynamodb vs aws s3用于时间序列数据

时间:2018-01-31 01:05:26

标签: amazon-web-services amazon-s3 time-series amazon-dynamodb

我的数据模型如下:时间戳,值

这当前存储在s3中的csv文件中,客户端下载并使用它将值附加到某些数据上,模型如下: 时间戳,名称

最终文件是时间戳,名称,值

将所有数据模型存储在dynamodb表中并通过时间戳查找每个数据模型会更快吗?

我的问题是我们会查找100-20k的记录,我不确定发电机会如何处理。如果整个文件位于客户端,大约3MB,那么可以在本地完成。

这个文件现在是3MB,但是它会通过预定的lambda函数随着时间的推移而增长。我并不关心强大的写作,只需要它最终是一致的。

另外,如果数据是在dynamo中,那么我可以在lambda中追加值,而不是在客户端执行。如果发电机太慢,这可能会使lambda超时。

1 个答案:

答案 0 :(得分:1)

我已经将DynamoDb用于类似的用例,并且工作得非常好,将该项目放在DynamoDb表中花了不到一秒钟。
如果将Lambda函数和DynamoDb放在同一个区域中会更快。

另外,根据优化事务的用例,考虑DynamoDb表(分区键和排序键)的结构。