如何在DynamoDB中存储大型矩阵?

时间:2019-06-20 14:13:05

标签: apache matrix amazon-dynamodb limit latency

我有一个很大的矩阵,需要快速访问。矩阵是50,000列,单位为数百万行。矩阵中的值都是数字。

我需要在此矩阵上执行某些操作:

  1. 从一列中检索所有数据
  2. 从一行中检索所有数据
  3. 选择某些行和列,然后返回此子集的矩阵。
  4. 返回按行分页的整个矩阵。

DynamoDB在托管,无服务器的本质上比Apache CassandraApache Ignite更具吸引力。但是,每个项目400kb的限制非常有限。这意味着我们不能将数据存储为

row {
     col_1: value,
     col_2: value,
     ...
     col_n: value
}

反之亦然。将行压缩成二进制块也不起作用-我们需要能够以亚秒级的延迟访问子集(或整个)矩阵。

DynamoDB是否已为其他任何人解决了此问题?

0 个答案:

没有答案