在alembic迁移上插入Unicode值

时间:2016-03-14 07:38:30

标签: python python-2.7 unicode sqlalchemy alembic

我正在开展一项涉及多种货币会计的小型宠物项目。在开发过程中,我决定使用alembic从直接的数据库设置转移到数据库迁移。在一些迁移中,我需要用初始货币填充数据库,这些货币以乌克兰语显示。

我的问题是,从alembic迁移脚本填充的数据是以某种未知编码保存的,因此我无法在应用程序中使用它(期望人类可读)。我的设置和脚本如下:

alembic.ini

...
sqlalchemy.url = mysql+pymysql://defaultuser:defaultpwd@localhost/petdb
...

蒸馏器/版本/ f433ab2a814_adding_currency.py

from alembic import op

# -*- coding: utf-8 -*-
"""Adding currency

Revision ID: f433ab2a814
Revises: 49538bba2220
Create Date: 2016-03-08 13:50:35.369021

"""

# revision identifiers, used by Alembic.
revision = 'f433ab2a814'
down_revision = '1c0b47263c82'
branch_labels = None
depends_on = None

def upgrade():
  op.create_table(
              'currency',
              Column('id', Integer, primary_key=True),
              Column('name', Unicode(120), nullable=False),
              Column('abbr', String(3), nullable=False)
          )
  op.execute(u'INSERT INTO currency SET name="{}", abbr="{}";'.format(u"Гривня", "UAH"))

mysql 客户端或 mysql-workbench 检查表currency后,它显示为:

mysql> SELECT * FROM currency;
+----+----------------------------+------+
| id | name                       | abbr |
+----+----------------------------+------+
|  1 | Ð“Ñ€Ð¸Ð²Ð½Ñ                | UAH  |
+----+----------------------------+------+

预期结果是:

mysql> SELECT * FROM currency;
+----+----------------------------+------+
| id | name                       | abbr |
+----+----------------------------+------+
|  1 | Гривня                     | UAH  |
+----+----------------------------+------+

从我的应用程序中我一直设置如下值:

from petproject import app

app.config.from_object(config.DevelopmentConfig)
engine = create_engine(app.config["DATABASE"]+"?charset=utf8",
                       convert_unicode=True, encoding="utf8", echo=False)
db_session = scoped_session(sessionmaker(autocommit=False,
                                         autoflush=False,
                                         bind=engine))

if len(db_session.query(Currency).all()) == 0:
  default_currency = Currency()
  default_currency.name = u"Гривня"
  default_currency.abbr = u"UAH"
  db_session.add(default_currency)
  db_session.commit()

所以我想知道如何在迁移中插入初始Unicode值,这些值将以正确的编码存储。我错过了什么吗?

1 个答案:

答案 0 :(得分:1)

经过更广泛的分析,我发现,MySQL将所有数据保存在'windows-1252'编码中。 MySQL手册(“West European Character Sets”部分)将此问题说明为:

  

latin1是默认字符集。 MySQL的latin1与Windows cp1252字符集相同。

看起来MySQL忽略了character_set_client,我认为是'utf-8',或者SQLAlchemy / alembic没有通知服务器接受数据为'UTF-8'编码数据。不幸的是,推荐选项'?charset = utf8'无法在alembic.ini中设置。

为了以正确的编码接受和保存数据,我通过调用op.execute('SET NAMES utf8');手动设置字符集。因此完整的代码如下:

def upgrade():
  op.create_table(
              'currency',
              Column('id', Integer, primary_key=True),
              Column('name', Unicode(120), nullable=False),
              Column('abbr', String(3), nullable=False)
          )
  op.execute('SET NAMES utf8')
  op.execute(u'INSERT INTO currency SET name="{}", abbr="{}";'.format(u"Гривня", "UAH"))

结果变得如预期的那样:

mysql> SELECT * FROM currency;
+----+----------------------------+------+
| id | name                       | abbr |
+----+----------------------------+------+
|  1 | Гривня                     | UAH  |
+----+----------------------------+------+