Question

我正在尝试将以下推文存储到longtext列/ utf8 charset / MySQL 5.5中。带有MyISAM存储的数据库。

我们也试过utf8mb4，utf16，utf32字符集，但无法解决这个问题。

tweet="@Dorable_Dimples: Okay enough of those #IfYouWereMines I'm getting dep
ressed. #foreveralone ?" lol yes

mysql> ALTER DATABASE foo CHARACTER SET utf8 COLLATE utf8_bin;

mysql> show variables like 'char%';
+--------------------------+-------------------------------------------+
| Variable_name | Value |
+--------------------------+-------------------------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /rdsdbbin/mysql-5.5.12.R1/share/charsets/ |

Incorrect string value: '\xF0\x9F\x98\x94\xE2\x80...' for column 'tweet' at row 1

Unable to store tweet "@Dorable_Dimples: Okay enough of those #IfYouWereM
ines I'm getting depressed. #foreveralone ?" lol yes
javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCExcept
ion: could not insert
at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityMana
gerImpl.java:1387)
at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityMana
gerImpl.java:1315)
at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityMana
gerImpl.java:1321)
at org.hibernate.ejb.AbstractEntityManagerImpl.persist(AbstractEntityMana
gerImpl.java:843)
at java.util.TimerThread.mainLoop(Timer.java:512)
at java.util.TimerThread.run(Timer.java:462)

at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(
SQLStateConverter.java:140)
at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.ja
va:128)
at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelpe
r.java:66)
at org.hibernate.id.insert.AbstractReturningDelegate.performInsert(Abstra
ctReturningDelegate.java:64)
at org.hibernate.persister.entity.AbstractEntityPersister.insert(Abstract
EntityPersister.java:2345)
at org.hibernate.persister.entity.AbstractEntityPersister.insert(Abstract
EntityPersister.java:2852)
at org.hibernate.action.EntityIdentityInsertAction.execute(EntityIdentity
InsertAction.java:71)
at org.hibernate.engine.ActionQueue.execute(ActionQueue.java:273)
at org.hibernate.event.def.AbstractSaveEventListener.performSaveOrReplica
te(AbstractSaveEventListener.java:320)
at org.hibernate.event.def.AbstractSaveEventListener.performSave(Abstract
SaveEventListener.java:203)
at org.hibernate.event.def.AbstractSaveEventListener.saveWithGeneratedId(
AbstractSaveEventListener.java:129)
at org.hibernate.ejb.event.EJB3PersistEventListener.saveWithGeneratedId(E
JB3PersistEventListener.java:69)
at org.hibernate.event.def.DefaultPersistEventListener.entityIsTransient(
DefaultPersistEventListener.java:179)
at org.hibernate.event.def.DefaultPersistEventListener.onPersist(DefaultP
ersistEventListener.java:135)
at org.hibernate.event.def.DefaultPersistEventListener.onPersist(DefaultP
ersistEventListener.java:61)
at org.hibernate.impl.SessionImpl.firePersist(SessionImpl.java:808)
at org.hibernate.impl.SessionImpl.persist(SessionImpl.java:782)
at org.hibernate.impl.SessionImpl.persist(SessionImpl.java:786)
at org.hibernate.ejb.AbstractEntityManagerImpl.persist(AbstractEntityMana
gerImpl.java:837)
... 5 more
Caused by: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x94\xE2\x
80...' for column 'tweet' at row 1
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3609)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3541)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2002)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2163)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2624)
at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.jav
a:2127)
at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:
2427)
at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:
2345)
at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:
2330)
at org.hibernate.id.IdentityGenerator$GetGeneratedKeysDelegate.executeAnd
Extract(IdentityGenerator.java:94)
at org.hibernate.id.insert.AbstractReturningDelegate.performInsert(Abstra
ctReturningDelegate.java:57)

Answer 1

这是导致问题的推文末尾的角色。

它看起来像一个'表情符号'字符又名日本笑脸，但它不会在Chrome或Safari中显示给我。

在某些版本的MySQL中存在存储4字节utf字符的已知问题。显然你必须使用utf8mb4来表示4个字节的UTF字符，因为普通的utf8字符集只能表示长度最多3个字节的字符，因此不能存储Basic Multilingual Plane

之外的字符。

http://dev.mysql.com/doc/refman/5.5/en/charset-unicode-utf8mb4.html

这对我来说是新闻，因为它基本上意味着MySQL中的utf8数据类型并不是真正合适的utf8。

有关于如何处理此问题的建议 How to insert utf-8 mb4 character(emoji in ios5) in mysql?包括：

“还要确保你的应用层将其数据库连接的字符集设置为utf8mb4。请仔细检查这是否真的发生了 - 如果你运行的是所选框架的mysql客户端库的旧版本，它可能还没有被编译使用utf8mb4并且它不会正确设置charset。如果没有，你可能需要更新它或自己编译它“

如果您正在使用Connector / J，则需要在连接配置中设置character_set_server = utf8mb4。

您的所有字符集都应该是utf8mb4，您可能已尝试但目前尚未设置。

Answer 2

我喜欢Danask57的答案 - 这是正确的，也是'正确'的方式。（我自己投了票）

然而，另一个快速而肮脏的解决方案是更改架构。使用varbinary或binary来存储推文字符串：

http://dev.mysql.com/doc/refman/5.0/en/binary-varbinary.html

好处是你不会遇到任何字符集问题。

缺点是您的字符串比较和排序将丢失，并且您将无法对该列进行全文索引。

只是一个建议，但这不是'正确'的答案，只是一个快速而肮脏的解决方案，让事情有效。

Answer 3

我有这个问题。要解决此问题，请按照以下优秀指南将mysql服务器端的默认编码更改为utf8mb4：http://mathiasbynens.be/notes/mysql-utf8mb4。

请记住在更改配置文件后重新启动mysqld服务。

对我来说，我还需要将mysql jdbc驱动程序更新到版本5.1.18（从版本5.1.6开始）。我已经阅读过某个地方，你必须使用至少版本5.1.14的mysql jdbc驱动程序才能很好地使用utf8mb4字符编码。希望这有帮助！

Answer 4

为什么你的例子中的引号之外有文字 - 即'lol yes'

tweet="@Dorable_Dimples: Okay enough of those #IfYouWereMines I'm getting depressed. #foreveralone ?" lol yes

Answer 5

问题出在字符串“@”中。引擎数据库解释为特殊字符。我这样做：

   tweet="Dorable_Dimples: Okay enough of those #IfYouWereMines I'm getting dep

ressed。 #foreveralone？“大声笑是的

MySQL抛出错误的字符串值错误

5 个答案: