map-reduce和nosql之间有什么关系?

时间:2018-03-28 11:04:32

标签: database mapreduce

我想将from sys import argv try: with open(argv[1],"r") as desti: cad = desti.readlines() k= list(cad) for n in range(len(cad)): k = n.split(',') k = (int, cad) k = sorted(cad) with open("nums_ordenats.txt","w") as prl: prl.write(k) except Exception as err: print(err, "Error") 用于我的应用程序。 nosql的目的是存储用户日志数据,使用和分析数据,以及向用户提供自定义数据。在这里,我们了解了map-reduce以寻找快速处理大量日志数据的算法和方法。

我有几个问题:

  
      
  1. map-reduce是一种算法吗?

  2.   
  3. map-reduce是否适合快速处理大量数据?

  4.   
  5. 除了map-reduce之外,我如何使用nosql以提高速度?

  6.   
  7. 我知道mongodb支持map-reduce,这是正确的吗?

  8.   

我不完全理解nosql和map-reduce之间的关系。

感谢。

2 个答案:

答案 0 :(得分:0)

  1. NoSQL = [不仅是SQL]数据库是可以的数据库类型 具有结构,半结构(XML,json)或非结构 数据(文本数据)。
  2. 是的,它可以帮助处理大型数据集。

  3. Map-reduce是一种算法。请阅读article 了解map reduce如何在NoSQL或大数据中工作 应用

  4. 修改

    Here is some good resource for learning mapReduce & Big Data technologies. BTW这些教程都是印地文。

答案 1 :(得分:0)

  

map-reduce是一种算法吗?

MapReduce并不是一种算法,而是一种可以与许多算法一起使用的工具,它可以很好地适应"。 Mapreduce利用hadoop分布式数据存储和处理的功能。正如您可能已经注意到的那样,并非所有的算法都可以有效地实现"使用mapreduce实施。因此,应根据数据量,处理限制等各种因素做出设计决策。

  

map-reduce是否适合快速处理大量数据?

mapreduce在处理期间执行了大量磁盘I / O,因此不适用于执行时间是约束的情况。您可能希望切换到spark以加快处理速度。将tez引擎与mapreduce一起使用是另一种选择。但是,不要将mapreduce性能与nosql数据库(如hbase)进行比较。 mapreducenosql都属于两个完全不同的技术堆栈。

  

除了map-reduce之外,我如何使用nosql以提高速度?

这取决于您的使用案例。将hbase数据处理到mapreduce程序以生成分析结果非常常见。

  

我知道mongodb支持map-reduce,这是正确的吗?

让我重新说一下。 mapreducemongodb可能是数据源的工具。