我想将from sys import argv
try:
with open(argv[1],"r") as desti:
cad = desti.readlines()
k= list(cad)
for n in range(len(cad)):
k = n.split(',')
k = (int, cad)
k = sorted(cad)
with open("nums_ordenats.txt","w") as prl:
prl.write(k)
except Exception as err:
print(err, "Error")
用于我的应用程序。 nosql
的目的是存储用户日志数据,使用和分析数据,以及向用户提供自定义数据。在这里,我们了解了map-reduce以寻找快速处理大量日志数据的算法和方法。
我有几个问题:
map-reduce是一种算法吗?
map-reduce是否适合快速处理大量数据?
除了map-reduce之外,我如何使用nosql以提高速度?
- 醇>
我知道mongodb支持map-reduce,这是正确的吗?
我不完全理解nosql和map-reduce之间的关系。
感谢。
答案 0 :(得分:0)
是的,它可以帮助处理大型数据集。
Map-reduce是一种算法。请阅读article 了解map reduce如何在NoSQL或大数据中工作 应用
修改强>
Here is some good resource for learning mapReduce & Big Data technologies. BTW这些教程都是印地文。
答案 1 :(得分:0)
map-reduce是一种算法吗?
MapReduce
并不是一种算法,而是一种可以与许多算法一起使用的工具,它可以很好地适应"。 Mapreduce
利用hadoop分布式数据存储和处理的功能。正如您可能已经注意到的那样,并非所有的算法都可以有效地实现"使用mapreduce
实施。因此,应根据数据量,处理限制等各种因素做出设计决策。
map-reduce是否适合快速处理大量数据?
mapreduce
在处理期间执行了大量磁盘I / O,因此不适用于执行时间是约束的情况。您可能希望切换到spark
以加快处理速度。将tez
引擎与mapreduce
一起使用是另一种选择。但是,不要将mapreduce
性能与nosql数据库(如hbase
)进行比较。 mapreduce
和nosql
都属于两个完全不同的技术堆栈。
除了map-reduce之外,我如何使用nosql以提高速度?
这取决于您的使用案例。将hbase
数据处理到mapreduce
程序以生成分析结果非常常见。
我知道mongodb支持map-reduce,这是正确的吗?
让我重新说一下。 mapreduce
是mongodb
可能是数据源的工具。