有没有好的BigData / IoT参考架构？

Question

我正在为一个必须是的应用程序寻找一些参考架构：

• geo scalable：允许从节点中获取数据 遍布全球（可能像物联网）。
• 半结构化数据：未完全整理的数据。新设备发送尚未知的数据的范围
• 有一个单窗格/门户/ api，允许查询来自不同位置的汇总数据。

（更新）： 自发布此问题以来，我一直在阅读一些演示文稿和YouTube视频。到目前为止，我收集了以下内容：

选项1：使用来自Amazon，Azure等云供应商的自定义解决方案堆栈。为了快速引导，还有专门从事这些云解决方案之一的咨询公司。

选项2：使用开源堆栈构建。几个有趣的架构是：SMACK，Lambda。

您可以提供指向正确的链接/书籍/博客或您的笔记/评论的任何帮助，我可以从中获得参考架构。

Answer 1

有些平台可用于此类要求，AWS（https://aws.amazon.com/iot/）和Microsoft（https://azure.microsoft.com/en-in/suites/iot-suite/）提供了所需工具/技术的最佳支持平台。您仍然需要根据解决方案要求开发具有特定业务逻辑的自定义应用程序，并且必须利用无架构数据库（NoSql）来开发此阶段未知数据结构的此类解决方案。

您还可以考虑使用微服务架构来公开与第三方应用集成的API。

Answer 2

不确定这是否为时已晚。我没有任何云供应商物联网产品的经验，所以无法帮助那里。

• SMACK堆栈非常受欢迎，但您可能不需要按原样使用它。

• 该架构的关键部分是用于实时分析的Spark，用于消息传递总线的Kafka和用于数据库层的Cassandra。

• Mesos是一个管理框架，您可以用Kubernetes替换

• Akka是一种扩展/ Java语言框架，不确定您首选的语言是什么。