Google App Engine中TaskQueue和MapReduce之间的区别

时间:2018-03-15 12:00:02

标签: google-app-engine hadoop mapreduce task-queue

我已阅读有关taskqueue的文档,并在gae中推送用于创建长时间运行任务的队列。

我怀疑为什么需要MapReduce?由于两者都在后台进行处理,它们之间的主要主要区别是什么。

有人可以解释一下吗?

1 个答案:

答案 0 :(得分:1)

你对两件完全不同的事情感到困惑。

MapReduce范例完全是关于非常大量数据的分布式 并行 处理

TaskQueue计划程序;可以安排任务在特定时间执行说 。它只是一个类似unix cronjobs的调度程序。

请注意上述陈述中的粗体和斜体字以区别。

来自TaskQueue

的定义
  

任务队列让应用程序执行工作,称为任务,   在用户请求之外异步 。如果应用程序需要执行   在后台工作,它将任务添加到任务队列。任务是   稍后由工人服务执行。

根据定义,TaskQueue 在用户请求之外工作;表示没有实际的用户请求来执行task(它只是在过去的某个时间提交/安排)。用户提交mapreduce个程序来执行,但您将来可能会使用TaskQueue 计划

由于task世界中使用的queueschedulingmapreduce等字词,您可能会感到困惑。但mapreduce中的所有内容可能都有一些相似之处,因为它们是通用术语 - 但它们肯定不一样。