我知道什么是数据仓库&什么是大数据。 但我对Data Warehouse Vs Big Data感到困惑。 两者都有不同的名称或两者都不同(概念和物理)。
答案 0 :(得分:6)
我知道这是一个较旧的帖子,但去年有一些发展。将数据仓库与Hadoop进行比较就像将苹果与橙子进行比较。数据仓库是一个概念:高质量的清洁,集成数据。我不认为对数据仓库的需求会很快消失。另一方面,Hadoop是一项技术。它是一个处理大量数据的分布式计算框架。过去,数据仓库通常建立在关系数据库和数据仓库设备上。但是,在过去几年中,出现了RDBMS的各种限制(面对不断增长的数据量,不适合查询图形和层次结构以及摄取非结构化数据类型等,导致许可证成本爆炸)。与此同时,Hadoop上出现了MPP SQL查询引擎,例如Apache Drill,现在可以查询位于Hadoop上的数据。
如果您对所有细节感兴趣,我已经写了一系列关于这个主题的帖子。 Data Warehousing in the age of big data. The end of an era?
答案 1 :(得分:1)
我认为您会发现以下文章对您的想法非常有用。
It’s important to divide the techniques of data warehousing from the implementation. Hadoop (and the advent of NoSQL databases) will auger the demise of data warehousing appliances and the “traditional” single database implementation of a data warehouse.
It is safe to say that traditional, single server relational databases or database appliances are not the future of big data or data warehouses.
On the other hand, the techniques of data warehousing to include Extract-Transform-and-Load (ETL), dimensional modeling and business intelligence will be adapted to the new Hadoop/NoSQL environments.
自: http://gcn.com/blogs/reality-check/2014/01/hadoop-vs-data-warehousing.aspx
答案 2 :(得分:1)
我有一些很棒的幻灯片描述了Hadoop和数据仓库之间的区别,以及它们如何相互补充:
答案 3 :(得分:1)
我发现这个http://www.b-eye-network.com/view/17017描述了大数据和数据仓库的区别
当我们将大数据解决方案与数据仓库进行比较时,我们会做什么 找?我们发现大数据解决方案是一种技术和数据 仓储是一种建筑。它们是两个非常不同的东西。一个 技术就是这样 - 一种存储和管理大量技术的方法 数据。数据仓库是一种组织数据的方式 企业信誉和诚信。当有人从a中获取数据时 数据仓库,那个人知道其他人正在使用相同的 用于其他目的的数据。存在可协调数据的基础 当有数据仓库时。
答案 4 :(得分:1)
也许这种观点可以帮助您: 基本上,数据仓库是一种架构,而大数据是一种技术。第一个在最近20年成为一种流行趋势,而后一个直到最近十年才开始流行。
大数据和数据仓库都用于报告,可以称为面向主题的技术。这意味着它们旨在提供有关某个主题(例如,客户,供应商,员工甚至产品)的信息。 数据仓库在整体数据分析方面更为先进,而大数据的主要优势在于,您可以从几乎所有知名来源(例如社交媒体甚至特定的机器数据)收集和处理信息。
答案 5 :(得分:0)
仓库存储实际数据。它存储了一些整个集群数据。数据仓库是用于报告和数据分析的系统。 它是来自一个或多个不同来源的集成数据的中央存储库。 它们将当前和历史数据存储在一个用于创建分析报告的位置。
VS。
大数据是指在数字环境中生成的大规模数据。 这个大数据通常很大,生成周期短。它不仅包括数字数据,还包括文本和图像数据。 大数据环境比以前更加多样化。 由于数据类型多样且规模庞大,甚至可以分析和预测人们的意见和行为。 此外,Machbase database将推出具有仓库概念的企业版。