Apache Spark异常处理

时间:2016-02-15 08:49:30

标签: apache-spark

我正在使用Apache Spark,现在我想更多关于异常处理。

我的情况是我有一个非常复杂的过程,最后我会采取行动。

显然,我需要在进程中间处理异常,所以最后,所以基本上也是当我做map,flatMap等转换时...

我将如何处理异常?提示将不胜感激。

1 个答案:

答案 0 :(得分:0)

一种方法是使用Try

<% if !user_signed_in? %>
<%= render 'devise/sessions/new' %>
<%= render 'devise/registrations/new' %>
<% else %>

<div class="panel panel-default center pull-right" >
    <% @posts.each do |post| %>
    <div class='name'>
        <%= post.user.name %> shared:<br><br><br>
    </div>
    <%= post.body %>

    <%= link_to like_post_path(post), method: :put do %>
    Like
    <%= post.get_upvotes.size %>
    <% end %>
    <%= link_to dislike_post_path(post), method: :put do %>
    Dislike
    <%= post.get_downvotes.size %>
    <% end %>
    <br>
    <div class="panel-footer">
        <%= form_for @comment do |c| %>
        <%= c.text_area :body %>
        <%= c.hidden_field :post_id, :value => post.id %><br>
        <%= c.submit "comment" %>
        <% end %>
    </div>
    <% end %>
</div>
<% end %>

不幸的是,使用DataFrame / Set API没有更简单的方法。应该有一种方法可以在所有数据帧操作中推送异常处理程序,例如select,group by等。在管道期间优雅地处理与数据相关的错误。 见Row level exception handling in Apache Spark DataFrame/Set