我正在寻找具有并发性的大规模并行处理系统,该系统每500毫秒可以为超过一百万个IoT设备提供无缝的数据提取解决方案。
寻找具有不同协议的开放源代码的高度可扩展的丰富库,这些库支持ESB,并且可以无故障地管理多线程。
Apache Beam,Apache Nifi或Apache Camel或WSO2是更好的选择。
答案 0 :(得分:0)
我最喜欢的提取解决方案是Apache NiFi。让我只说几句似乎可以涵盖您所寻找的内容:
丰富度:撰写本文时,NiFi附带了约280个处理器,可让您轻松处理许多数据源
可伸缩性:事实证明,NiFi可以并行处理节点混乱的情况,每秒可处理大量数据和大量事件
开源:NiFi是100%开源
全面披露:我尚未与您提到的其他解决方案合作,而是NiFi背后的推动力Cloudera的雇员。