云上的大数据实施

时间:2016-06-15 11:48:27

标签: hortonworks-data-platform cloudera-cdh bigdata

有人可以让我知道“云端大数据实施”是什么意思

我一直在使用Amazon S3来存储使用hive的数据和查询,我读过这是一个云实现。我想知道这究竟是什么意思以及实现它的所有可能方法。

谢谢, SREE

2 个答案:

答案 0 :(得分:1)

以下是云提供商可为大数据分析解决方案提供的服务级别选择:

  • 数据平台基础架构服务,例如 Hadoop即服务,提供预安装和托管的基础架构。通过此级别的服务,您负责加载,管理和管理分析解决方案的数据和分析。
  • 数据管理服务,例如 Data Lake Service ,可在一个或多个基础上提供数据管理,目录服务,分析开发,安全性和信息治理服务。更多数据平台。通过此级别的服务,您负责定义有关如何管理数据以及将数据源连接到云解决方案的策略。数据所有者可以直接控制其数据的加载,保护和使用方式。数据的使用者能够使用目录来定位他们想要的数据,请求访问,并通过自助服务接口使用数据。
  • 洞察和数据服务,例如客户分析服务,使您负责将数据源连接到云解决方案。然后,云解决方案提供API,以访问数据和其他数据源的组合,这些数据源都是解决方案和公共开放数据的专有组合,以及从此数据生成的分析洞察。

有关此内容的更多信息,请阅读IBM发布的详细文章:http://www.ibm.com/developerworks/cloud/library/cl-ibm-leads-building-big-data-analytics-solutions-cloud-trs/index.html

另请参阅Qubole提供的服务,该服务可大大简化,加速和扩展大数据分析工作负载与存储在AWS,Google或Azure云上的数据 - https://www.qubole.com/features

答案 1 :(得分:1)

存储和处理大量数据 需要可扩展性和可用性。 云计算通过硬件提供所有这些功能 虚拟化。出于同样的原因,大数据和云计算都是合乎逻辑的 两个兼容的概念,因为云可以实现大数据 可用,可扩展和容错。 不仅如此,实施并不止于此 - 许多公司现在提供大数据即服务(BDaaS),如Stratoscale,Cloudera,当然还有Azure等。