如何从MySQL中的字符串中删除所有非字母数字字符？

时间：2011-08-04 14:12:59

标签： mysql regex string alphanumeric

我正在研究比较字符串的例程，但为了提高效率，我需要删除所有不是字母或数字的字符。

我现在正在使用多个REPLACE函数，但也许有更快更好的解决方案？

18 个答案:

答案 0 :(得分：81)

这些答案都不适合我。我不得不创建一个名为alphanum的函数，它为我剥离了字符：

DROP FUNCTION IF EXISTS alphanum; 
DELIMITER | 
CREATE FUNCTION alphanum( str CHAR(255) ) RETURNS CHAR(255) DETERMINISTIC
BEGIN 
  DECLARE i, len SMALLINT DEFAULT 1; 
  DECLARE ret CHAR(255) DEFAULT ''; 
  DECLARE c CHAR(1); 
  SET len = CHAR_LENGTH( str ); 
  REPEAT 
    BEGIN 
      SET c = MID( str, i, 1 ); 
      IF c REGEXP '[[:alnum:]]' THEN 
        SET ret=CONCAT(ret,c); 
      END IF; 
      SET i = i + 1; 
    END; 
  UNTIL i > len END REPEAT; 
  RETURN ret; 
END | 
DELIMITER ;

现在我能做到：

select 'This works finally!', alphanum('This works finally!');

我得到了：

+---------------------+---------------------------------+
| This works finally! | alphanum('This works finally!') |
+---------------------+---------------------------------+
| This works finally! | Thisworksfinally                |
+---------------------+---------------------------------+
1 row in set (0.00 sec)

乌拉！

答案 1 :(得分：20)

从表现的角度来看， （并且假设你阅读的内容比你写的多）

我认为最好的方法是预先计算并存储柱的剥离版本， 这样就可以减少转换。

然后，您可以在新列上放置索引并让数据库为您完成工作。

答案 2 :(得分：14)

SELECT teststring REGEXP '[[:alnum:]]+';

SELECT * FROM testtable WHERE test REGEXP '[[:alnum:]]+';

请参阅：http://dev.mysql.com/doc/refman/5.1/en/regexp.html
向下滚动到以下部分： [:character_class:]

如果你想操纵字符串，最快的方法是使用str_udf，参见：
https://github.com/hholzgra/mysql-udf-regexp

答案 3 :(得分：6)

基于the answer by Ryan Shillington，修改为使用长度超过255个字符的字符串并保留原​​始字符串中的空格。

仅供参考，最后有lower(str)。

我用它来比较字符串：

DROP FUNCTION IF EXISTS spacealphanum;
DELIMITER $$
CREATE FUNCTION `spacealphanum`( str TEXT ) RETURNS TEXT CHARSET utf8
BEGIN 
  DECLARE i, len SMALLINT DEFAULT 1; 
  DECLARE ret TEXT DEFAULT ''; 
  DECLARE c CHAR(1); 
  SET len = CHAR_LENGTH( str ); 
  REPEAT 
    BEGIN 
      SET c = MID( str, i, 1 ); 
      IF c REGEXP '[[:alnum:]]' THEN 
        SET ret=CONCAT(ret,c); 
      ELSEIF  c = ' ' THEN
          SET ret=CONCAT(ret," ");
      END IF; 
      SET i = i + 1; 
    END; 
  UNTIL i > len END REPEAT; 
  SET ret = lower(ret);
  RETURN ret; 
  END $$
  DELIMITER ;

答案 4 :(得分：5)

我能够找到（和使用）的最快方式是使用convert().

来自Doc的

带USING的CONVERT（）用于在不同字符集之间转换数据。

示例：

convert(string USING ascii)

在您的情况下，正确的字符集将为self defined

Doc。自4.1.0起，CONVERT()的 USING 形式可用。

答案 5 :(得分：4)

我写过这个UDF。但是，它仅修剪字符串开头的特殊字符。它还将字符串转换为小写。如果需要，您可以更新此功能。

DELIMITER //

DROP FUNCTION IF EXISTS DELETE_DOUBLE_SPACES//

CREATE FUNCTION DELETE_DOUBLE_SPACES ( title VARCHAR(250) )
RETURNS VARCHAR(250) DETERMINISTIC
BEGIN
    DECLARE result VARCHAR(250);
    SET result = REPLACE( title, '  ', ' ' );
    WHILE (result <> title) DO 
        SET title = result;
        SET result = REPLACE( title, '  ', ' ' );
    END WHILE;
    RETURN result;
END//

DROP FUNCTION IF EXISTS LFILTER//

CREATE FUNCTION LFILTER ( title VARCHAR(250) )
RETURNS VARCHAR(250) DETERMINISTIC
BEGIN
    WHILE (1=1) DO
        IF(  ASCII(title) BETWEEN ASCII('a') AND ASCII('z')
            OR ASCII(title) BETWEEN ASCII('A') AND ASCII('Z')
            OR ASCII(title) BETWEEN ASCII('0') AND ASCII('9')
        ) THEN
            SET title = LOWER( title );
            SET title = REPLACE(
                REPLACE(
                    REPLACE(
                        title,
                        CHAR(10), ' '
                    ),
                    CHAR(13), ' '
                ) ,
                CHAR(9), ' '
            );
            SET title = DELETE_DOUBLE_SPACES( title );
            RETURN title;
        ELSE
            SET title = SUBSTRING( title, 2 );          
        END IF;
    END WHILE;
END//
DELIMITER ;

SELECT LFILTER(' !@#$%^&*()_+1a    b');

此外，您可以使用正则表达式，但这需要安装MySql扩展名。

答案 6 :(得分：4)

小心，像'或»这样的字符被MySQL视为alpha。 最好使用类似的东西：

  

如果'a'和'z'之间或'c'与'A'和'Z'之间或'0'与'0'之间的关系   '9'或c =' - '那么

答案 7 :(得分：3)

这可以使用another answer中发布的正则表达式替换函数来完成，并且已经发表了关于here的博文。它可能不是最有效的解决方案，而且对于手头的工作可能看起来有点过分 - 但就像瑞士军刀一样，它可能因其他原因而有用。

可以看到删除this Rextester online demo中所有非字母数字字符的操作。

SQL （不包括简洁的功能代码）： 

SELECT txt,
       reg_replace(txt,
                   '[^a-zA-Z0-9]+',
                   '',
                   TRUE,
                   0,
                   0
                   ) AS `reg_replaced`
FROM test;

答案 8 :(得分：3)

拉丁语和西里尔字符的直接和战斗解决方案：

DELIMITER //

CREATE FUNCTION `remove_non_numeric_and_letters`(input TEXT)
  RETURNS TEXT
  BEGIN
    DECLARE output TEXT DEFAULT '';
    DECLARE iterator INT DEFAULT 1;
    WHILE iterator < (LENGTH(input) + 1) DO
      IF SUBSTRING(input, iterator, 1) IN
         ('0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'А', 'Б', 'В', 'Г', 'Д', 'Е', 'Ж', 'З', 'И', 'Й', 'К', 'Л', 'М', 'Н', 'О', 'П', 'Р', 'С', 'Т', 'У', 'Ф', 'Х', 'Ц', 'Ч', 'Ш', 'Щ', 'Ъ', 'Ы', 'Ь', 'Э', 'Ю', 'Я', 'а', 'б', 'в', 'г', 'д', 'е', 'ж', 'з', 'и', 'й', 'к', 'л', 'м', 'н', 'о', 'п', 'р', 'с', 'т', 'у', 'ф', 'х', 'ц', 'ч', 'ш', 'щ', 'ъ', 'ы', 'ь', 'э', 'ю', 'я')
      THEN
        SET output = CONCAT(output, SUBSTRING(input, iterator, 1));
      END IF;
      SET iterator = iterator + 1;
    END WHILE;
    RETURN output;
  END //

DELIMITER ;

用法：

-- outputs "hello12356"
SELECT remove_non_numeric_and_letters('hello - 12356-привет ""]')

答案 9 :(得分：1)

到目前为止，唯一比其他答案简单的替代方法是确定列的完整特殊字符集，即此刻该列中使用的所有特殊字符，然后执行顺序替换所有这些字符，例如

update pages set slug = lower(replace(replace(replace(replace(name, ' ', ''), '-', ''), '.', ''), '&', '')); # replacing just space, -, ., & only

  

对于已知数据集，仅是可取的，否则就是   让一些特殊角色滑过去的琐事   黑名单方法而不是白名单方法。

显然，最简单的方法是在sql之外预先验证数据，因为缺少强大的内置白名单（例如通过正则表达式替换）。

答案 10 :(得分：1)

我在尝试匹配数据库中的姓氏时遇到了类似的问题。例如，有时候人们输入同一个人的名字作为＆＃34;麦当劳＆＃34;还有＆＃34; Mc Donald＆＃34;或者＆＃34; St John＆＃34;和＆＃34;圣。约翰＆＃34;

我没有尝试转换Mysql数据，而是通过创建一个函数（在PHP中）来解决问题，该函数将获取一个字符串并创建一个仅限alpha的正则表达式：

function alpha_only_regex($str) {
    $alpha_only = str_split(preg_replace('/[^A-Z]/i', '', $str));
    return '^[^a-zA-Z]*'.implode('[^a-zA-Z]*', $alpha_only).'[^a-zA-Z]*$';
}

现在我可以使用如下查询搜索数据库：

$lastname_regex = alpha_only_regex($lastname);
$query = "SELECT * FROM my_table WHERE lastname REGEXP '$lastname_regex';

答案 11 :(得分：0)

从MySQL 8.0开始，您可以使用正则表达式从字符串中删除非字母数字字符。有方法REGEXP_REPLACE

以下是删除非字母数字字符的代码：

UPDATE {table} SET {column} = REGEXP_REPLACE({column}, '[^0-9a-zA-Z ]', '')

答案 12 :(得分：0)

需要替换非字母数字字符而不是删除非字母数字字符，所以我根据Ryan Shillington的字母创建了这个字符。适用于长度不超过255个字符的字符串

DROP FUNCTION IF EXISTS alphanumreplace; 
DELIMITER | 
CREATE FUNCTION alphanumreplace( str CHAR(255), d CHAR(32) ) RETURNS CHAR(255) 
BEGIN 
  DECLARE i, len SMALLINT DEFAULT 1; 
  DECLARE ret CHAR(32) DEFAULT ''; 
  DECLARE c CHAR(1); 
  SET len = CHAR_LENGTH( str ); 
  REPEAT 
    BEGIN 
      SET c = MID( str, i, 1 ); 
      IF c REGEXP '[[:alnum:]]' THEN SET ret=CONCAT(ret,c); 
      ELSE SET ret=CONCAT(ret,d);
      END IF; 
      SET i = i + 1; 
    END; 
  UNTIL i > len END REPEAT; 
  RETURN ret; 
END | 
DELIMITER ;

示例：

select 'hello world!',alphanum('hello world!'),alphanumreplace('hello world!','-');
+--------------+--------------------------+-------------------------------------+
| hello world! | alphanum('hello world!') | alphanumreplace('hello world!','-') |
+--------------+--------------------------+-------------------------------------+
| hello world! | helloworld               | hello-world-                        |
+--------------+--------------------------+-------------------------------------+

如果你需要，你需要单独添加alphanum函数，我只是在这里举例说明。

答案 13 :(得分：0)

如果你使用的是php .... 

try{
$con = new PDO ("mysql:host=localhost;dbname=dbasename","root","");
}
catch(PDOException $e){
echo "error".$e-getMessage();   
}

$select = $con->prepare("SELECT * FROM table");
$select->setFetchMode(PDO::FETCH_ASSOC);
$select->execute();

while($data=$select->fetch()){ 

$id = $data['id'];
$column = $data['column'];
$column = preg_replace("/[^a-zA-Z0-9]+/", " ", $column); //remove all special characters

$update = $con->prepare("UPDATE table SET column=:column WHERE id='$id'");
$update->bindParam(':column', $column );
$update->execute();

// echo $column."<br>";
}

答案 14 :(得分：0)

我尝试了一些解决方案，但最后使用了head。我的数据集是部件号，我完全知道会发生什么。但仅仅为了理智，我使用PHP来构建长查询：

replace

这会产生一些令我头疼的事情：

$dirty = array(' ', '-', '.', ',', ':', '?', '/', '!', '&', '@');
$query = 'part_no';
foreach ($dirty as $dirt) {
    $query = "replace($query,'$dirt','')";
}
echo $query;

答案 15 :(得分：0)

我只需要在一个过程中获取字符串的字母字符，然后执行：

SET @source = "whatever you want";
SET @target = '';
SET @i = 1;
SET @len = LENGTH(@source);
WHILE @i <= @len DO
    SET @char = SUBSTRING(@source, @i, 1);
    IF ((ORD(@char) >= 65 && ORD(@char) <= 90) || (ORD(@char) >= 97 && ORD(@char) <= 122)) THEN
        SET @target = CONCAT(@target, @char);
    END IF;
    SET @i = @i + 1;
END WHILE;

答案 16 :(得分：-1)

alphanum功能（自我回答）有一个bug，但我不知道为什么。 对于文本＆＃34; cas synt ls 75W140 1L＆＃34;返回＆＃34; cassyntls75W1401＆＃34;，＆＃34; L＆＃34;从最后却遗漏了一些如何。

现在我用

delimiter //
DROP FUNCTION IF EXISTS alphanum //
CREATE FUNCTION alphanum(prm_strInput varchar(255))
RETURNS VARCHAR(255)
DETERMINISTIC
BEGIN
  DECLARE i INT DEFAULT 1;
  DECLARE v_char VARCHAR(1);
  DECLARE v_parseStr VARCHAR(255) DEFAULT ' ';
WHILE (i <= LENGTH(prm_strInput) )  DO
  SET v_char = SUBSTR(prm_strInput,i,1);
  IF v_char REGEXP  '^[A-Za-z0-9]+$' THEN 
        SET v_parseStr = CONCAT(v_parseStr,v_char);  
  END IF;
  SET i = i + 1;
END WHILE;
RETURN trim(v_parseStr);
END
//

（在谷歌上找到）

答案 17 :(得分：-1)

与其他人相比可能是一个愚蠢的建议：

if(!preg_match("/^[a-zA-Z0-9]$/",$string)){
    $sortedString=preg_replace("/^[a-zA-Z0-9]+$/","",$string);
}
相关问题
最新问题