我正在使用Apache Spark,现在我想更多关于异常处理。
我的情况是我有一个非常复杂的过程,最后我会采取行动。
显然,我需要在进程中间处理异常,所以最后,所以基本上也是当我做map,flatMap等转换时...
我将如何处理异常?提示将不胜感激。
答案 0 :(得分:0)
一种方法是使用Try
<% if !user_signed_in? %>
<%= render 'devise/sessions/new' %>
<%= render 'devise/registrations/new' %>
<% else %>
<div class="panel panel-default center pull-right" >
<% @posts.each do |post| %>
<div class='name'>
<%= post.user.name %> shared:<br><br><br>
</div>
<%= post.body %>
<%= link_to like_post_path(post), method: :put do %>
Like
<%= post.get_upvotes.size %>
<% end %>
<%= link_to dislike_post_path(post), method: :put do %>
Dislike
<%= post.get_downvotes.size %>
<% end %>
<br>
<div class="panel-footer">
<%= form_for @comment do |c| %>
<%= c.text_area :body %>
<%= c.hidden_field :post_id, :value => post.id %><br>
<%= c.submit "comment" %>
<% end %>
</div>
<% end %>
</div>
<% end %>
不幸的是,使用DataFrame / Set API没有更简单的方法。应该有一种方法可以在所有数据帧操作中推送异常处理程序,例如select,group by等。在管道期间优雅地处理与数据相关的错误。 见Row level exception handling in Apache Spark DataFrame/Set