为数据带来功能 - 这是如何调用的？

Question

在许多情况下，我们从数据库中获取数据并将其带到我们的应用程序（数据到功能）。然而，在某些设计中，我们采用相反的方式，这在大数据设置中是有利的。例如Hadoop MapReduce或Apache Spark。

我们如何称这种方法为数据带来富裕，而不是相反？我记得像＃34;数据位置敏感＆＃34;或者＆＃34;数据位置感知＆＃34;或类似的东西，但在互联网上找不到正确的术语。

Answer 1

它被称为data locality吗？ 因此，假设您有一个大小为1 GB的文本文件，并且您编写了一个map reduce代码，将该文件中的所有文本转换为大写，那么首先将文件分成块，并将文本覆盖到大写的文本中可用于每个数据节点。现在，每个节点上的tasktracker只会运行本地节点上存在的数据块的映射缩减代码。这称为数据局部性。