大数据解决方案之间的比较。

时间:2015-02-24 13:04:54

标签: azure amazon-web-services bigdata hdinsight

过去几个月我一直在研究BigData,并开始执行我的FYP,即使用BigData中的MapReduceHDInsight分析Windows Azure。< / p>

我刚刚遇到这种特殊的困惑,哪个平台可以更好地在成本,性能,稳定性等方面进行BigData分析,例如AmazonOracle,{ {1}}等。这个问题可能过于宽泛,但我只是想了解一下与IBM相比如何区分它们的基本概念。

简而言之,Azure HDInsight用于HDInsight vs Other BigData Solutions分析。任何帮助,将不胜感激。

3 个答案:

答案 0 :(得分:2)

不同的hadoop经销商之间的比较   Distributors 1] 1

您可以在此article

找到有关Microsoft分发的参考资料

答案 1 :(得分:0)

结合运营和分析技术 - 使用Hadoop

NoSQL,MPP数据库和Hadoophave等新技术应用于解决大数据挑战,并使企业能够提供新类型的产品和服务。

公司利用两种系统功能的最常见方法之一是将Noo数据库(如MongoDB)与Hadoop集成。现有API可轻松实现连接,并允许分析师和数据科学家对大数据分析和见解执行复杂的追溯查询,同时保持NoSQL数据库的效率和易用性。

NoSQL,MPP数据库和Hadoop是互补的:NoSQL系统应该用于捕获大数据并为用户提供操作智能,MPP数据库和Hadoop应该用于为分析师和数据科学家提供分析洞察力。 NoSQL,MPP数据库和Hadoop共同使企业能够利用大数据。

答案 2 :(得分:0)

据我所知,每个云服务提供商都有积极的和消极的。 我对谷歌云有很好的了解。所以,我试着比较w.r.t.谷歌云。 以下是两个链接,提供了与谷歌云相关的产品映射。

https://cloud.google.com/free/docs/map-azure-google-cloud-platform https://cloud.google.com/free/docs/map-aws-google-cloud-platform

例如,Azure HDInsight使用Google Cloud Dataproc和Google Cloud Dataflow进行映射。在这里使用Dataproc,我们可以运行Hadoop Mapreduce作业。我们可以将数据流用于批处理和流数据处理。

在AWS中,Azure HDInsight使用Amazon Elastic MapReduce(EMR)进行映射。

每个服务提供商都有不同的定价机制,具体取决于CPU类型,核心数量和存储选项。在谷歌云中,我们有可抢占实例的选项,这将花费很便宜,但我们只能在短期内使用它们。 (最多24小时)。

您可以通过以下链接比较价格:

https://cloud.google.com/dataproc/pricing

https://cloud.google.com/dataflow/pricing

https://azure.microsoft.com/en-us/pricing/details/hdinsight/

https://aws.amazon.com/emr/pricing/

市场上有一种工具可以比较不同的云服务: https://github.com/GoogleCloudPlatform/PerfKitBenchmarker