我开发了工业软件来从设备/ RTU轮询数据,并每隔一秒将这些数据记录到关系数据库中。该软件的HMI允许用户从数据库中查询这些数据,并以表格/图表的形式表示。
现在,存储的数据可以非常快速地扩展。通常,可以容易地有100个设备,其中每个设备具有100个数据,并且需要每秒记录一次。我们说的是每天100 * 100 * 60 * 60 * 24 = 864000000的数据。该工业软件预计全年24/7运行。
由于数据的规模,这就是问题所在。查询数据可能会非常缓慢。如果我将数据绘制3个月,则SQL查询将需要几分钟。
我的问题是,Hadoop(分布式存储和分析系统)是否适合我的应用程序?我可以利用Hadoop的强大功能来加速我的应用程序中的数据查询吗?怎么样?
请注意,我的应用程序中的数据完整性非常关键。