AWS上的物联网大数据设计

时间:2018-01-22 18:21:03

标签: amazon-web-services architecture amazon-redshift amazon-kinesis aws-iot

我试图从零开始设计数百万设备的大型物联网解决方案。这就是我需要像AWS这样高度可扩展的平台的原因。

我的设备将使用AWS IoT报告数据,这是我唯一真正决定的事情。我需要在每台设备上每隔15分钟存储大量数据,如温度测量值,因此我已计划使用IoT规则将这些测量值直接插入DynamoDB,但另一方面,我需要一个关系结构存储公司,温度传感器等。所以我认为我可以将它存储在MySQL RDS中。

之后,我需要配置一个合适的分析工具,因此我考虑使用Kinesis并使用Data Pipeline在ETL之后从Redshift加载数据,因为AWS Glue不支持DynamoDB。

我对某些服务很新,所以我不确切知道自己在做什么,而且我也不知道这种方法是否是最好的方法。你怎么看?。

感谢。

1 个答案:

答案 0 :(得分:0)

我希望您的应用程序通过以下流程将边缘数据(原始数据)写入S3存储桶:

Edge(具有凭据)-> APIGateway-> Lambda-> S3

在S3中将原始数据另存为import MODULE个文件。然后,您可以使用Athena和Quicksight等工具进行可视化。

这样做的好处是:

1)您的边缘设备不必具有AWS开发工具包

2)S3便宜又可扩展

3)JSON格式可由任何服务读取,因此您不会被锁定在AWS上进行可视化。