我有一个数据库，其中一些元素由HTML特殊字符组成：
| Universidad Tecnológica Nacional - UTN |
| Instituto Tecnológico de Buenos Aires |
| Instituto Superior del Profesorado "Dr. Joaquín V. González" |
| Escuela Nacional de Náutica "Manuel Belgrano" |
| Conservatorio Nacional de Música "Carlos López Buchardo" |
| Instituto Argentino de Computacion - IAC |
| Conservatorio de Superior de Música "Manuel de Falla" |
我需要将其转换为正确的UTF格式。 我可以做的不仅仅是遍历数据库，并且从每个代码映射到等效符号吗？
á -> 'á'
" -> '"'
...
答案 0 :(得分：6)
正如my comment above中所提到的，在你自己的情况下你真正想做的事情非常不清楚。
我可以做的不仅仅是遍历数据库，并且从每个代码映射到等效符号吗？
嗯，是的。您可以使用替换字符替换字符代码实体（例如{和ƫ），而无需在“映射”中查找字符代码。但是总是需要查找命名实体（例如"）。
这是我尝试解决一般情况：
创建一个表来存储以HTML格式定义的命名字符实体：
CREATE TABLE ents (
ref VARCHAR(8) NOT NULL COLLATE utf8_bin,
rep CHAR(1) NOT NULL,
PRIMARY KEY (ref)
);
填充此表 - 我建议使用脚本，例如来自PHP：
$dbh = new PDO("mysql:dbname=$dbname", $username, $password);
$dbh->setAttribute(PDO::ATTR_EMULATE_PREPARES, FALSE);
$ins = $dbh->prepare('INSERT INTO ents (ref, rep) VALUES (?, ?)');
$t = get_html_translation_table(HTML_ENTITIES);
foreach ($t as $k => $v) $ins->execute([substr($v, 1, -1), $k]);
定义一个SQL函数来执行实体替换（在适用的情况下使用此表，或者使用字符代码）：
DELIMITER ;;
CREATE FUNCTION dhe(s TEXT) RETURNS TEXT
BEGIN
DECLARE n, p, i, t INT DEFAULT 0;
DECLARE r VARCHAR(12);
entity_search: LOOP
SET n := LOCATE('&', s, n+1);
IF (!n) THEN
LEAVE entity_search;
END IF;
IF (SUBSTRING(s, n+1, 1) = '#') THEN
CASE
WHEN SUBSTRING(s, n+2, 1) RLIKE '[[:digit:]]' THEN
SET t := 2, p := n+2, r := '[[:digit:]]';
WHEN SUBSTRING(s, n+2, 1) = 'x' THEN
SET t := 3, p := n+3, r := '[[:xdigit:]]';
ELSE ITERATE entity_search;
END CASE;
ELSE
SET t := 1, p := n+1, r := '[[:alnum:]_]';
END IF;
SET i := 0;
reference: LOOP
IF SUBSTRING(s, p+i, 1) NOT RLIKE r THEN
IF SUBSTRING(s, p+i, 1) RLIKE '[[:alnum:]_]' THEN
ITERATE entity_search;
END IF;
LEAVE reference;
END IF;
IF i = 8 THEN ITERATE entity_search; END IF;
SET i := i + 1;
END LOOP reference;
SET s := CONCAT(
LEFT(s, n-1),
CASE t
WHEN 1 THEN COALESCE(
(SELECT rep FROM ents WHERE ref = SUBSTRING(s, p, i))
, SUBSTRING(s, n, i + IF(SUBSTRING(s, p+i, 1)=';',1,0))
)
WHEN 2 THEN CHAR(SUBSTRING(s, p, i))
WHEN 3 THEN CHAR(CONV(SUBSTRING(s, p, i), 16, 10))
END,
SUBSTRING(s, p + i + IF(SUBSTRING(s, p+i, 1)=';',1,0))
);
END LOOP entity_search;
RETURN s;
END;;
DELIMITER ;
应用此函数两次来解码您的（显然）双重编码表：
UPDATE my_table SET my_column = dhe(dhe(my_column));
答案 1 :(得分：2)
MySQL不提供解码HTML实体的任何功能。 MySQL不关心HTML，也不会特别为它提供任何功能。
如果您不想在数据库中使用这些，则需要在插入字符串之前对其进行解码。如果您使用的是PHP，html_entity_decode() 功能可能就是你要找的东西。
对于已存在于数据库中的那些，您需要创建一个PHP脚本来浏览并读取每一行，处理它，然后用新解码的行替换旧行。
答案 2 :(得分：2)
看起来这将是一次性解决方案，所以我不会考虑太多通用的东西。我会找到所有类似的转义符号（将联合替换为对表的引用）：
SELECT DISTINCT IF(@p:=LOCATE('&', s),
SUBSTR(s, @p, LOCATE(';', s, @p+5)-@p+1),
NULL) as e_chars
FROM (
SELECT 'Universidad Tecnológica Nacional - UTN' as s
UNION ALL
SELECT 'Instituto Tecnológico de Buenos Aires'
UNION ALL
SELECT 'Instituto Superior del Profesorado "Dr. Joaquín V. González"'
UNION ALL
SELECT 'Escuela Nacional de Náutica "Manuel Belgrano"'
UNION ALL
SELECT 'Conservatorio Nacional de Música "Carlos López Buchardo"'
UNION ALL
SELECT 'Instituto Argentino de Computacion - IAC'
UNION ALL
SELECT 'Conservatorio de Superior de Música "Manuel de Falla"'
) as s;
接收：
'ó'
'"'
'á'
'ú'
然后我会编写一个简单的更新查询，如：
UPDATE t1 SET
s = REPLACE(s, 'ó', 'ó'),
s = REPLACE(s, '"', ''''),
s = REPLACE(s, 'á', 'á'),
s = REPLACE(s, 'ú', 'ú')
WHERE LOCATE(s, '&');
然后你可以重复第一个查询，看看还有什么东西。
答案 3 :(得分：2)
你可以通过以下两种方式解决这个问题。
将所有HTML实体数据更新为正确的编码
这是最好的长期解决方案。在html实体之间不断转换会浪费CPU时间。这对于1个查询（100毫秒或更短）来说可能不是很多，但是可以扩展到1,000多个用户，每秒执行几十次，并且很快就会变成有意义的CPU时间。
使用SQL存储过程/函数进行转换。
我过去曾做过几次，这是一个快速修复。好处是您可以重用此功能，但是您必须手动添加要转换的每个HTML实体实例，这会非常繁琐。这是我写的函数。
CREATE DEFINER = `root`@`localhost` FUNCTION `NewProc`(x longtext)
RETURNS longtext
NO SQL
DETERMINISTIC
BEGIN
DECLARE TextString LONGTEXT;
SET TextString = x ;
#quotation mark
IF INSTR( x , '"' )
THEN SET TextString = REPLACE(TextString, '"','"') ;
END IF ;
#apostrophe
IF INSTR( x , ''' )
THEN SET TextString = REPLACE(TextString, ''','"') ;
END IF ;
#ampersand
IF INSTR( x , '&' )
THEN SET TextString = REPLACE(TextString, '&','&') ;
END IF ;
#less-than
IF INSTR( x , '<' )
THEN SET TextString = REPLACE(TextString, '<','<') ;
END IF ;
#greater-than
IF INSTR( x , '>' )
THEN SET TextString = REPLACE(TextString, '>','>') ;
END IF ;
#non-breaking space
IF INSTR( x , ' ' )
THEN SET TextString = REPLACE(TextString, ' ',' ') ;
END IF ;
#inverted exclamation mark
IF INSTR( x , '¡' )
THEN SET TextString = REPLACE(TextString, '¡','¡') ;
END IF ;
#cent
IF INSTR( x , '¢' )
THEN SET TextString = REPLACE(TextString, '¢','¢') ;
END IF ;
#pound
IF INSTR( x , '£' )
THEN SET TextString = REPLACE(TextString, '£','£') ;
END IF ;
#currency
IF INSTR( x , '¤' )
THEN SET TextString = REPLACE(TextString, '¤','¤') ;
END IF ;
#yen
IF INSTR( x , '¥' )
THEN SET TextString = REPLACE(TextString, '¥','¥') ;
END IF ;
#broken vertical bar
IF INSTR( x , '¦' )
THEN SET TextString = REPLACE(TextString, '¦','¦') ;
END IF ;
#section
IF INSTR( x , '§' )
THEN SET TextString = REPLACE(TextString, '§','§') ;
END IF ;
#spacing diaeresis
IF INSTR( x , '¨' )
THEN SET TextString = REPLACE(TextString, '¨','¨') ;
END IF ;
#copyright
IF INSTR( x , '©' )
THEN SET TextString = REPLACE(TextString, '©','©') ;
END IF ;
#feminine ordinal indicator
IF INSTR( x , 'ª' )
THEN SET TextString = REPLACE(TextString, 'ª','ª') ;
END IF ;
#angle quotation mark (left)
IF INSTR( x , '«' )
THEN SET TextString = REPLACE(TextString, '«','«') ;
END IF ;
#negation
IF INSTR( x , '¬' )
THEN SET TextString = REPLACE(TextString, '¬','¬') ;
END IF ;
#soft hyphen
IF INSTR( x , '­' )
THEN SET TextString = REPLACE(TextString, '­','') ;
END IF ;
#registered trademark
IF INSTR( x , '®' )
THEN SET TextString = REPLACE(TextString, '®','®') ;
END IF ;
#spacing macron
IF INSTR( x , '¯' )
THEN SET TextString = REPLACE(TextString, '¯','¯') ;
END IF ;
#degree
IF INSTR( x , '°' )
THEN SET TextString = REPLACE(TextString, '°','°') ;
END IF ;
#plus-or-minus
IF INSTR( x , '±' )
THEN SET TextString = REPLACE(TextString, '±','±') ;
END IF ;
#superscript 2
IF INSTR( x , '²' )
THEN SET TextString = REPLACE(TextString, '²','²') ;
END IF ;
#superscript 3
IF INSTR( x , '³' )
THEN SET TextString = REPLACE(TextString, '³','³') ;
END IF ;
#spacing acute
IF INSTR( x , '´' )
THEN SET TextString = REPLACE(TextString, '´','´') ;
END IF ;
#micro
IF INSTR( x , 'µ' )
THEN SET TextString = REPLACE(TextString, 'µ','µ') ;
END IF ;
#paragraph
IF INSTR( x , '¶' )
THEN SET TextString = REPLACE(TextString, '¶','¶') ;
END IF ;
#middle dot
IF INSTR( x , '·' )
THEN SET TextString = REPLACE(TextString, '·','·') ;
END IF ;
#spacing cedilla
IF INSTR( x , '¸' )
THEN SET TextString = REPLACE(TextString, '¸','¸') ;
END IF ;
#superscript 1
IF INSTR( x , '¹' )
THEN SET TextString = REPLACE(TextString, '¹','¹') ;
END IF ;
#masculine ordinal indicator
IF INSTR( x , 'º' )
THEN SET TextString = REPLACE(TextString, 'º','º') ;
END IF ;
#angle quotation mark (right)
IF INSTR( x , '»' )
THEN SET TextString = REPLACE(TextString, '»','»') ;
END IF ;
#fraction 1/4
IF INSTR( x , '¼' )
THEN SET TextString = REPLACE(TextString, '¼','¼') ;
END IF ;
#fraction 1/2
IF INSTR( x , '½' )
THEN SET TextString = REPLACE(TextString, '½','½') ;
END IF ;
#fraction 3/4
IF INSTR( x , '¾' )
THEN SET TextString = REPLACE(TextString, '¾','¾') ;
END IF ;
#inverted question mark
IF INSTR( x , '¿' )
THEN SET TextString = REPLACE(TextString, '¿','¿') ;
END IF ;
#multiplication
IF INSTR( x , '×' )
THEN SET TextString = REPLACE(TextString, '×','×') ;
END IF ;
#division
IF INSTR( x , '÷' )
THEN SET TextString = REPLACE(TextString, '÷','÷') ;
END IF ;
#capital a, grave accent
IF INSTR( x , 'À' )
THEN SET TextString = REPLACE(TextString, 'À','À') ;
END IF ;
#capital a, acute accent
IF INSTR( x , 'Á' )
THEN SET TextString = REPLACE(TextString, 'Á','Á') ;
END IF ;
#capital a, circumflex accent
IF INSTR( x , 'Â' )
THEN SET TextString = REPLACE(TextString, 'Â','Â') ;
END IF ;
#capital a, tilde
IF INSTR( x , 'Ã' )
THEN SET TextString = REPLACE(TextString, 'Ã','Ã') ;
END IF ;
#capital a, umlaut mark
IF INSTR( x , 'Ä' )
THEN SET TextString = REPLACE(TextString, 'Ä','Ä') ;
END IF ;
#capital a, ring
IF INSTR( x , 'Å' )
THEN SET TextString = REPLACE(TextString, 'Å','Å') ;
END IF ;
#capital ae
IF INSTR( x , 'Æ' )
THEN SET TextString = REPLACE(TextString, 'Æ','Æ') ;
END IF ;
#capital c, cedilla
IF INSTR( x , 'Ç' )
THEN SET TextString = REPLACE(TextString, 'Ç','Ç') ;
END IF ;
#capital e, grave accent
IF INSTR( x , 'È' )
THEN SET TextString = REPLACE(TextString, 'È','È') ;
END IF ;
#capital e, acute accent
IF INSTR( x , 'É' )
THEN SET TextString = REPLACE(TextString, 'É','É') ;
END IF ;
#capital e, circumflex accent
IF INSTR( x , 'Ê' )
THEN SET TextString = REPLACE(TextString, 'Ê','Ê') ;
END IF ;
#capital e, umlaut mark
IF INSTR( x , 'Ë' )
THEN SET TextString = REPLACE(TextString, 'Ë','Ë') ;
END IF ;
#capital i, grave accent
IF INSTR( x , 'Ì' )
THEN SET TextString = REPLACE(TextString, 'Ì','Ì') ;
END IF ;
#capital i, acute accent
IF INSTR( x , 'Í' )
THEN SET TextString = REPLACE(TextString, 'Í','Í') ;
END IF ;
#capital i, circumflex accent
IF INSTR( x , 'Î' )
THEN SET TextString = REPLACE(TextString, 'Î','Î') ;
END IF ;
#capital i, umlaut mark
IF INSTR( x , 'Ï' )
THEN SET TextString = REPLACE(TextString, 'Ï','Ï') ;
END IF ;
#capital eth, Icelandic
IF INSTR( x , 'Ð' )
THEN SET TextString = REPLACE(TextString, 'Ð','Ð') ;
END IF ;
#capital n, tilde
IF INSTR( x , 'Ñ' )
THEN SET TextString = REPLACE(TextString, 'Ñ','Ñ') ;
END IF ;
#capital o, grave accent
IF INSTR( x , 'Ò' )
THEN SET TextString = REPLACE(TextString, 'Ò','Ò') ;
END IF ;
#capital o, acute accent
IF INSTR( x , 'Ó' )
THEN SET TextString = REPLACE(TextString, 'Ó','Ó') ;
END IF ;
#capital o, circumflex accent
IF INSTR( x , 'Ô' )
THEN SET TextString = REPLACE(TextString, 'Ô','Ô') ;
END IF ;
#capital o, tilde
IF INSTR( x , 'Õ' )
THEN SET TextString = REPLACE(TextString, 'Õ','Õ') ;
END IF ;
#capital o, umlaut mark
IF INSTR( x , 'Ö' )
THEN SET TextString = REPLACE(TextString, 'Ö','Ö') ;
END IF ;
#capital o, slash
IF INSTR( x , 'Ø' )
THEN SET TextString = REPLACE(TextString, 'Ø','Ø') ;
END IF ;
#capital u, grave accent
IF INSTR( x , 'Ù' )
THEN SET TextString = REPLACE(TextString, 'Ù','Ù') ;
END IF ;
#capital u, acute accent
IF INSTR( x , 'Ú' )
THEN SET TextString = REPLACE(TextString, 'Ú','Ú') ;
END IF ;
#capital u, circumflex accent
IF INSTR( x , 'Û' )
THEN SET TextString = REPLACE(TextString, 'Û','Û') ;
END IF ;
#capital u, umlaut mark
IF INSTR( x , 'Ü' )
THEN SET TextString = REPLACE(TextString, 'Ü','Ü') ;
END IF ;
#capital y, acute accent
IF INSTR( x , 'Ý' )
THEN SET TextString = REPLACE(TextString, 'Ý','Ý') ;
END IF ;
#capital THORN, Icelandic
IF INSTR( x , 'Þ' )
THEN SET TextString = REPLACE(TextString, 'Þ','Þ') ;
END IF ;
#small sharp s, German
IF INSTR( x , 'ß' )
THEN SET TextString = REPLACE(TextString, 'ß','ß') ;
END IF ;
#small a, grave accent
IF INSTR( x , 'à' )
THEN SET TextString = REPLACE(TextString, 'à','à') ;
END IF ;
#small a, acute accent
IF INSTR( x , 'á' )
THEN SET TextString = REPLACE(TextString, 'á','á') ;
END IF ;
#small a, circumflex accent
IF INSTR( x , 'â' )
THEN SET TextString = REPLACE(TextString, 'â','â') ;
END IF ;
#small a, tilde
IF INSTR( x , 'ã' )
THEN SET TextString = REPLACE(TextString, 'ã','ã') ;
END IF ;
#small a, umlaut mark
IF INSTR( x , 'ä' )
THEN SET TextString = REPLACE(TextString, 'ä','ä') ;
END IF ;
#small a, ring
IF INSTR( x , 'å' )
THEN SET TextString = REPLACE(TextString, 'å','å') ;
END IF ;
#small ae
IF INSTR( x , 'æ' )
THEN SET TextString = REPLACE(TextString, 'æ','æ') ;
END IF ;
#small c, cedilla
IF INSTR( x , 'ç' )
THEN SET TextString = REPLACE(TextString, 'ç','ç') ;
END IF ;
#small e, grave accent
IF INSTR( x , 'è' )
THEN SET TextString = REPLACE(TextString, 'è','è') ;
END IF ;
#small e, acute accent
IF INSTR( x , 'é' )
THEN SET TextString = REPLACE(TextString, 'é','é') ;
END IF ;
#small e, circumflex accent
IF INSTR( x , 'ê' )
THEN SET TextString = REPLACE(TextString, 'ê','ê') ;
END IF ;
#small e, umlaut mark
IF INSTR( x , 'ë' )
THEN SET TextString = REPLACE(TextString, 'ë','ë') ;
END IF ;
#small i, grave accent
IF INSTR( x , 'ì' )
THEN SET TextString = REPLACE(TextString, 'ì','ì') ;
END IF ;
#small i, acute accent
IF INSTR( x , 'í' )
THEN SET TextString = REPLACE(TextString, 'í','í') ;
END IF ;
#small i, circumflex accent
IF INSTR( x , 'î' )
THEN SET TextString = REPLACE(TextString, 'î','î') ;
END IF ;
#small i, umlaut mark
IF INSTR( x , 'ï' )
THEN SET TextString = REPLACE(TextString, 'ï','ï') ;
END IF ;
#small eth, Icelandic
IF INSTR( x , 'ð' )
THEN SET TextString = REPLACE(TextString, 'ð','ð') ;
END IF ;
#small n, tilde
IF INSTR( x , 'ñ' )
THEN SET TextString = REPLACE(TextString, 'ñ','ñ') ;
END IF ;
#small o, grave accent
IF INSTR( x , 'ò' )
THEN SET TextString = REPLACE(TextString, 'ò','ò') ;
END IF ;
#small o, acute accent
IF INSTR( x , 'ó' )
THEN SET TextString = REPLACE(TextString, 'ó','ó') ;
END IF ;
#small o, circumflex accent
IF INSTR( x , 'ô' )
THEN SET TextString = REPLACE(TextString, 'ô','ô') ;
END IF ;
#small o, tilde
IF INSTR( x , 'õ' )
THEN SET TextString = REPLACE(TextString, 'õ','õ') ;
END IF ;
#small o, umlaut mark
IF INSTR( x , 'ö' )
THEN SET TextString = REPLACE(TextString, 'ö','ö') ;
END IF ;
#small o, slash
IF INSTR( x , 'ø' )
THEN SET TextString = REPLACE(TextString, 'ø','ø') ;
END IF ;
#small u, grave accent
IF INSTR( x , 'ù' )
THEN SET TextString = REPLACE(TextString, 'ù','ù') ;
END IF ;
#small u, acute accent
IF INSTR( x , 'ú' )
THEN SET TextString = REPLACE(TextString, 'ú','ú') ;
END IF ;
#small u, circumflex accent
IF INSTR( x , 'û' )
THEN SET TextString = REPLACE(TextString, 'û','û') ;
END IF ;
#small u, umlaut mark
IF INSTR( x , 'ü' )
THEN SET TextString = REPLACE(TextString, 'ü','ü') ;
END IF ;
#small y, acute accent
IF INSTR( x , 'ý' )
THEN SET TextString = REPLACE(TextString, 'ý','ý') ;
END IF ;
#small thorn, Icelandic
IF INSTR( x , 'þ' )
THEN SET TextString = REPLACE(TextString, 'þ','þ') ;
END IF ;
#small y, umlaut mark
IF INSTR( x , 'ÿ' )
THEN SET TextString = REPLACE(TextString, 'ÿ','ÿ') ;
END IF ;
RETURN TextString ;
END;
转换代码中的实体。
正如JMack所提到的，这个功能内置于PHP，以及其他各种语言，如Ruby，Java等。这是另一个快速修复。
答案 4 :(得分：1)
如果我是你，我会双手交叉并注意：
我可能会做的是创建一些生成查询的PHP例程，每行一个。检查包含双重编码值的行并生成所需的更改。
这是在WHERE标准中处理每行（主键）的唯一ID，因此知道哪些行被更改，而不是哪些数据。
如果您已完成，则可以针对数据库批量运行此SQL。您也可以针对实际数据库的副本运行它，以便进行某种干运行，并在以后进行一些质量检查。
希望这有帮助。
答案 5 :(得分：0)
我必须做同样的事情，虽然我的领域是UTF-8所以＆＃39; ＆＃39; =＆＃39;％20＆＃39;。这是一个简单的修复查询（在我的表上工作......当然你需要自己调整）：
update TABLE set FIELD_NAME=replace(FIELD_NAME,'&#225','á');
我从类似的问题得到了这个问题：Search and replace part of string in database
此外，如果你有少量的角色替换，这仍然很容易做到。