基于文件的大数据

时间:2020-01-14 15:46:10

标签: android bigdata non-relational-database data-pipeline

我在一家公司工作,我们代替HMI开发android应用程序。现在,我们处于一个位置,需要在本地平板电脑上存储大量数据,然后以某种方式获取这些文件并将其存储在云中。

我参加了一个大数据课程,并认为基于文件的系统是必要的。将这些数组(压力,时间和状态位的数组)存储到像SQL一样的RDBMS中是没有意义的,但是我们需要像SQL一样的查询来访问此数据。我们还需要确保数据存在并最终在云中保持一致。

现在,我已经阅读了有关Apache Flume和其他数据管道工具的信息,但是android可以使用哪些工具从许多不同的来源发送此数据。有人有建议吗?

TLDR;

我的android应用程序将生成很多文件,这些文件具有与720Kb以上的文件关联的时间,日期和序列号。将其流式传输到云中并在以后进行搜索的最佳方法是什么?数据必须最终保持一致。

0 个答案:

没有答案