将选择选项从一个下拉列表移动到另一个下拉列表不适用于单个选项

Question

我正在使用以下代码使用jQuery将选项从一个下拉列表移动到另一个下拉列表：

$(document).on('change keyup', '.select-groups', function(){
    moveSelectOptions($(this), 'available-groups', 'selected-groups');
});

var moveSelectOptions = function(elm, source, target){
    var sourceId = source;
    var targetId = target;

    if (elm.attr('id') != sourceId) {
        var sourceId = target;
        var targetId = source;
    }

    return !$('#'+sourceId+' option:selected').remove().appendTo('#' + targetId);
};

我在change和keyup事件中都使用了这两种情况，并且一切正常，预计下拉列表中只剩下一个选项，在这种情况下，该选项不会被移动到另一个下拉列表。

我也尝试添加click事件，但看起来它与其他事件相冲突。

知道如何解决这个问题吗？谢谢。