无法正确找到多选下拉列表字段的选定选项

Question

我正在尝试遍历每个选项，并查看当前是否未选中它。如果它不是当前选择的值，我想将其删除。

if ($(this).not(option:selected)){
    $(this).remove();
}

下面的代码可正常使用正常的下拉菜单，但当其值大于1时，不适用于多选下拉列表字段。

$("#values").select2();

<link href="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.4/css/select2.min.css" rel="stylesheet" />
<script src="//code.jquery.com/jquery-2.2.4.min.js"></script>
<script src="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.4/js/select2.min.js"></script>
<select id="values">
  <option>1</option>
  <option>2</option>
  <option>3</option>
  <option>4</option>
  <option>5</option>
</select>