AWS上的服务,可将数据从一项服务转移到另一项服务

时间:2019-02-25 12:27:26

标签: api amazon-ec2 aws-lambda aws-sdk scalability

我想构建一个在AWS上运行的服务,该服务将从另一个也在AWS上运行的服务A获取指标,进行一些处理,然后将其发布到另一个服务B,以计算在另一个公共云上运行的整体资源使用情况。现有服务A和B的API已经定义,并且超出了我的控制范围。

我主要担心的是,我将要获取和发布的数据量可能很大,因此在发布结果之前,我可能必须对此数据进行一些计算。如果该服务按固定的定期时间表运行,而我需要使其具有弹性,那么应该如何部署它?

  1. EC2 VM。
  2. Lambda。

另外:

  1. 如何使服务具有弹性/高度可用?
  2. 如何使用更大的数据量进行扩展?一种想法是根据租户等对数据的键空间进行分区,并在独立,不重叠的并发计算实例中执行计算。
  3. 如果我将传输中的数据存储以进行中间处理,如何使传输中的数据具有弹性?

这些问题是从AWS基础设施的角度出发的,因为我对AWS的了解很少。

样品编号

  1. 来自服务A的输入数据:每分钟10000条记录,每条记录约1 KiB。因此,每分钟10 MiB。
  2. 服务中的处理延迟-每条记录最多0.1秒。
  3. 发布到服务B的数据:每分钟约2 MiB。连接通过WAN。

0 个答案:

没有答案