MySQL utf8mb4,保存Emojis时出错

时间:2016-02-01 08:27:07

标签: mysql emoji utf8mb4

我尝试从MySQL数据库中的服务中保存用户名。这些名称可以包含表情符号(仅用于示例)

稍微搜索后,我发现此stackoverflow链接到此tutorial。我按照步骤操作,看起来一切都配置正确。

我有一个数据库(charset和collat​​ion设置为utf8mb4(_unicode_ci)),一个名为TestTable的表,也是这样配置的,以及一个" Text"列,以这种方式配置(VARCHAR(191)utf8mb4_unicode_ci)。

当我尝试保存表情符号时,我收到错误:

Example of error for shortcake ():
    Warning: #1300 Invalid utf8 character string: 'F09F8D'
    Warning: #1366 Incorrect string value: '\xF0\x9F\x8D\xB0' for column 'Text' at row 1

我唯一能够妥善保存的表情符号是太阳☀️

虽然我没有尝试所有这些都是诚实的。

配置中是否缺少某些内容?

请注意:所有保存测试都不涉及客户端。我使用phpmyadmin手动更改值并保存数据。因此,在服务器正确保存emojis之后,我将负责 之后正确配置客户端。

另一个旁注:目前,在保存表情符号时,我得到上述错误,或者没有收到任何错误,Username 的数据将存储为Username ????。错误或无错误取决于我保存的方式。当通过SQL语句创建/保存时,我使用问号保存,当编辑内联时,我使用问号保存,当使用编辑按钮进行编辑时,我收到错误。

谢谢

编辑1: 好吧所以我认为我发现了问题,但不是解决方案。 看起来数据库特定的变量没有正确改变。

当我在我的服务器上以root身份登录并读出变量(全局)时:
使用的查询:SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%';

+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | utf8mb4            |
| character_set_connection | utf8mb4            |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | utf8mb4            |
| character_set_server     | utf8mb4            |
| character_set_system     | utf8               |
| collation_connection     | utf8mb4_unicode_ci |
| collation_database       | utf8mb4_unicode_ci |
| collation_server         | utf8mb4_unicode_ci |
+--------------------------+--------------------+
10 rows in set (0.00 sec)

对于我的数据库(在phpmyadmin中,相同的查询),它看起来如下所示:

+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | utf8               |
| character_set_connection | utf8mb4            |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | utf8               |
| character_set_server     | utf8               |
| character_set_system     | utf8               |
| collation_connection     | utf8mb4_unicode_ci |
| collation_database       | utf8mb4_unicode_ci |
| collation_server         | utf8mb4_unicode_ci |
+--------------------------+--------------------+

如何在特定数据库中调整这些设置? 即使我将第一个显示的设置作为默认设置,在创建新数据库时,我将第二个设置作为设置。

编辑2:

这是我的my.cnf文件:

[client]
port=3306
socket=/var/run/mysqld/mysqld.sock
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld_safe]
socket=/var/run/mysqld/mysqld.sock

[mysqld]
user=mysql
pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
port=3306
basedir=/usr
datadir=/var/lib/mysql
tmpdir=/tmp
lc-messages-dir=/usr/share/mysql
log_error=/var/log/mysql/error.log
max_connections=200
max_user_connections=30
wait_timeout=30
interactive_timeout=50
long_query_time=5
innodb_file_per_table
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

!includedir /etc/mysql/conf.d/

8 个答案:

答案 0 :(得分:74)

character_set_client_connection_results必须全部utf8mb4才能使该脆饼可以食用。

在某个地方,有些东西正在单独设置它们的子集。通过my.cnf和phpmyadmin的设置进行翻录 - 有些东西没有设置这三个。

如果执行了SET NAMES utf8mb4,则所有三个都设置正确。

阳光普照,因为它只有3个字节 - E2 98 80; utf8足以支持Unicode字符的3字节utf8编码。

答案 1 :(得分:6)

您的服务/应用程序可能正在与" utf8"而不是" utf8mb4"对于客户端字符集。这取决于客户端应用程序。

对于PHP应用程序,请参阅http://php.net/manual/en/function.mysql-set-charset.phphttp://php.net/manual/en/mysqli.set-charset.php

对于Python应用程序,请参阅https://github.com/PyMySQL/PyMySQL#examplehttp://docs.sqlalchemy.org/en/latest/dialects/mysql.html#mysql-unicode

另外,请检查您的列是否真的是utf8mb4。一种直接的方式是这样的:

mysql> SELECT character_set_name FROM information_schema.`COLUMNS`  WHERE table_name = "user"   AND column_name = "displayname";
+--------------------+
| character_set_name |
+--------------------+
| utf8mb4            |
+--------------------+
1 row in set (0.00 sec)

答案 2 :(得分:5)

对我来说,事实证明问题在于mysql客户端。

mysql客户端在服务器上更新my.cnf的字符设置,导致意外的字符设置。

所以,我需要做的只是添加character-set-client-handshake = FALSE。 它禁用客户端设置以扰乱我的字符设置。

my.cnf会是这样的。

[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
...

希望它有所帮助。

答案 3 :(得分:0)

  

更改表string.insert更改table_name column_name   VARCHAR(255)字符集utf8mb4 COLLATE utf8mb4_unicode_ci NULL   默认为空;

示例查询:

column_name

enter image description here

之后,成功将表情符号存储在表中:

enter image description here

答案 4 :(得分:0)

考虑添加

init_connect = 'SET NAMES utf8mb4'

访问所有数据库服务器的my.cnf-s。

(仍然,客户可以(也可以)否决它)

答案 5 :(得分:0)

Symfony 5 答案

虽然这不是被问到的,但人们可以在网上搜索 Symfony 中的相同问题后登陆这里。

1.正确配置 MySQL

☝️ 在这里查看(如果有帮助,请点赞)最佳答案。

2.更改您的 Doctrine 配置

<块引用>

/config/packages/doctrine.yaml

doctrine:
    dbal:
        ...
        charset: utf8mb4

答案 6 :(得分:0)

我通过命令导入数据:

LOAD DATA LOCAL INFILE 'abc.csv' INTO TABLE abc
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"' 
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES
(col1, col2, col3, col4, col5...);

这对我不起作用:

设置名称 utf8mb4;

我必须添加 CHARACTER SET 才能使其工作:

LOAD DATA LOCAL INFILE
'E:\\wamp\\tmp\\customer.csv' INTO TABLE `customer`
CHARACTER SET 'utf8mb4'
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;

注意,目标列也必须是utf8mb4而不是utf8,否则导入会保存(没有错误认为)像“?????”这样的问号。

答案 7 :(得分:-1)

我不为这个答案感到骄傲,因为它使用蛮力来清理输入。这很残酷,但是有效

function cleanWord($string, $debug = false) {
    $new_string = "";

    for ($i=0;$i<strlen($string);$i++) {
        $letter = substr($string, $i, 1);
        if ($debug) {
            echo "Letter: " . $letter . "<BR>";
            echo "Code: " . ord($letter) . "<BR><BR>";
        }
        $blnSkip = false;
        if (ord($letter)=="146") {
            $letter = "&acute;";
            $blnSkip = true;
        }
        if (ord($letter)=="233") {
            $letter = "&eacute;";
            $blnSkip = true;
        }
        if (ord($letter)=="147" || ord($letter)=="148") {
            $letter = "&quot;";
            $blnSkip = true;
        }
        if (ord($letter)=="151") {
            $letter = "&#8211;";
            $blnSkip = true;
        }
        if ($blnSkip) {
            $new_string .= $letter;
            break;
        }

        if (ord($letter) > 127) {
            $letter = "&#0" . ord($letter) . ";";
        }

        $new_string .= $letter;
    }
    if ($new_string!="") {
        $string = $new_string;
    }
    //optional
    $string = str_replace("\r\n", "<BR>", $string);

    return $string;
}

//clean up the input
$message = cleanWord($message);

//now you can insert it as part of SQL statement
$sql = "INSERT INTO tbl_message (`message`)
VALUES ('" . addslashes($message) . "')";