查询csv中的大量数据

时间:2017-10-26 15:38:50

标签: csv amazon-s3 amazon-dynamodb

对于提出这样一个愚蠢和基本问题的道歉,我正在探索AWS云堆栈。  我有一个包含11000行的excel文件,当我尝试将它们上传到DynamoDB时,它给了我吞吐量错误(可能是因为数量巨大)。

现在我想通过将其存储到s3存储桶或任何其他表单来查询此数据。通常我的方法是(如果数据最多为200行),将数据上传到dynamodb - >创建一个apigateway端点 - >使用所需参数触发端点。

但是现在由于数据非常庞大,我无法知道如何做到这一点。

有人可以告诉我什么是DynamoDB的最佳选择,还是我应该更好地坚持DynamoDB本身?

由于

1 个答案:

答案 0 :(得分:1)

一个好的选择是:

  • 以CSV格式保存S3中的数据(随意拉链以节省空间)
  • 使用Amazon Athena直接从S3中查询