杀死oozie协调员并没有杀死随后的火花工作

时间:2018-09-03 16:32:39

标签: apache-spark oozie oozie-coordinator oozie-workflow

当我试图杀死从oozie作业中调用的火花作业时,它并没有被杀死。 这只是表明工作流作业已被杀死。 然后我从该命令检查了工作流程日志

<a data-id="<?php echo $name;?>" title="Add this item" class="open-HotelReview btn btn-primary" href="#HotelReview">Review</a> <div class="modal fade" id="HotelReview" tabindex="-1" role="dialog" aria-labelledby="myLargeModalLabel" aria-hidden="true"> <div class="modal-dialog modal-lg"> <div class="modal-content"> <div class="modal-header"> <button type="button" class="close" data-dismiss="modal" aria hidden="true">&times;</button> <h4 class="modal-title" id="myModalLabel">Modal title</h4> </div> <div class="modal-body"> <input type="text" name="trackId" id="trackId" value="" /> <iframe src="/review.php?name="< need my variable here >" style="min- width:260px;width:100%;height:600px;border:none;" allowTransparency="true"> </iframe> </div> <div class="modal-footer"> <button type="button" class="btn btn-default" data-dismiss="modal">Close</button> </div> </div> </div> </div> <script type="text/javascript"> $(window).load(function(){ $(document).on("click", ".open-HotelReview", function (e) { e.preventDefault(); var _self = $(this); var HotelName = _self.data('id'); $("#HotelName").val(HotelName); $(_self.attr('href')).modal('show'); }); }); </script>

它在日志中显示此错误。

 oozie job --ozie oozieurl -log workflowID 

我做错什么了吗?还是我们不能取消从oozie协调员以纱线开始的火花施加的限制?

1 个答案:

答案 0 :(得分:0)

Oozie协调器按照特定的时间表运行oozie工作流程。当协调员调用oozie工作流时,它将在集群上提交spark作业。

在这里,协调器和oozie工作流仅跟踪作业,即作业正在运行还是被杀死等。

现在,如果您终止了oozie工作流程或协调程序,则可以确保不调用工作流程的下一步。但是,它不涉及现有的火花作业。这是设计使然。

如果要终止Spark作业,则需要使用以下命令在集群中手动终止Spark作业

yarn application -kill <applicationId>