我可以运行Hadoop onflow（运行应用程序时运行map reduce）

Question

我们可以使用hadoop on flow生成输出吗？我有大文件，包括日志和约会ID。如果我使用传统的RDBMS，我可以获得约会ID，但需要1或2小时。

日志文件大小 800 GB

on flow表示管理员登录系统时显示此约会ID。 我可以运行Hadoop onflow（在应用程序运行时运行map reduce）

Answer 1

Hadoop用于面向批处理的数据处理，而不是实时或特殊分析。对于数据的实时分析，有S4，Twitter Storm，LinkedIn Samza等框架。对于即席查询，还有像Drill，Imapala等框架。

看起来要求更接近于临时查询和Hadoop，因为它不符合要求。