火花中的函数就像mapreduce在hadoop中的清理功能一样吗？

Question

Spark 中的功能是否与hadoop中mapreduce的 cleanup（） 功能一样？如果没有，如何知道任务的结束？

有一个要求：当最后一行或最后一行的任务处理数据（数据将逐个处理，不是吗？）时，我需要执行一些自定义代码或自定义行为。

Answer 1

您需要在工作结束时调用$this->attributes['main_title'] = ucfirst($value) . " "; $this->attributes['sub_title'] = $value; $slugToUse = $this->attributes['main_title'] . $this->attributes['sub_title']; if (! $this->exists) { $this->attributes['slug'] = str_slug($slugToUse); } } 。但是如果你想要一些自定义的行为，比如确保连接关闭，那么你必须编写自定义代码来实现相同的目标。

调用SparkContext.stop()将清除/销毁/释放特定Spark作业声明的所有资源。

还有一个SparkContext.stop()，如果SparkContext被销毁或正在销毁，它会返回true。请参阅API Here