使用Spark结构化流Scala删除重复项

Question

我正在研究Spark流应用程序的实现，我必须根据指定的列删除重复的行。

我正在使用以下Scala代码，但出现错误。

$(document).ready(function () {
  // alert( "ready!" );
  jQuery("body").on("click", ".btn-test", function (e) {
    // Check if valid email or name is available
    if (!wplc_cookie_email || !wplc_cookie_name) {
      console.log("Test");
      alert('Please log in to the chat to proceed');
    } else {
      // Open the chat if closed
      if (!$('#wp-live-chat-header').hasClass('active')) {
        document.getElementById("wp-live-chat-header").click();
      }
      // Pass text to the chat input - text area
      $("textarea#wplc_chatmsg").val("This is my custom value");
    }
  });
});

是否有任何人致力于布隆过滤器或HyperLogLog算法的实现，以便在Spark Scala中删除重复的行？