DB2使用ALT_COLLATE UNICODE在非unicode数据库上插入UTF-8字符

时间:2014-08-21 11:59:47

标签: java sql unicode db2

我试图在DB2数据库中插入中文文本但不能正常工作。

数据库默认配置为ANSI(en_US 819)(这是使用dame数据库的其他应用程序的要求)ALT_COLLATE IDENTITY_16BIT已定义,UNICODE表是使用CCSID UNICODE创建的,但中文或韩文的unicode字符不是插入

示例表

CREATE TABLE LANGS (
    IDIOMA  char(2) NOT NULL,
    PAIS    char(2) NOT NULL,
    TRADUC  long varchar NOT NULL,
) CCSID UNICODE;

示例插入:

INSERT INTO LANGS (IDIOMA,PAIS,TRADUC) VALUES ('zh','TW','其他');

系统信息:

  • 服务器:Ubuntu 64bit(en_US)上的DB2 9.7
  • 客户端:Windows 7 32位(es_ES)Java 7,带有db2jcc.jar

示例Java提取:

Class.forName("com.ibm.db2.jcc.DB2Driver");

...

Properties props = new Properties();
props.setProperty("user", user);
props.setProperty("password", pass);
props.setProperty("DB2CODEPAGE", "1208");
props.setProperty("retrieveMessagesFromServerOnGetMessage", "true");

con = DriverManager.getConnection(url, props);

...

Statement statement = con.createStatement();
statement.execute(sql);

...
statement.close();
con.close();

数据库cfg获取

DB2数据库区域设置配置

Territorio de base de datos                             = en_US;
Página de códigos de base de datos                      = 819 
Conjunto de códigos de base de datos                    = iso8859-1 
Código de país/región de base de datos                  = 1 
Secuencia de clasificación de base de datos             = UNIQUE 
Orden de clasificación alternativo        (ALT_COLLATE) = IDENTITY_16BIT
Tamaño de página de base de datos                       = 4096

语句正确执行,行在数据库中正确显示:

  • en_GB
  • EN_US
  • es_ES
  • PT_PT

但不适用于:

  • cy_GB
  • ko_KR
  • zh_TW的

使用db2cmd从命令行插入也不适用于这些语言(插入但只有1个字节。

在本地化为zh_TW 工作的Linux环境中从命令行插入。 在Linux环境中从命令行插入,本地化为en_US.utf-8 工作

永远不要在这些环境中使用Java。


使用“X”作为前缀形式VARCHAR字段不是一个选项,因为一些限制和SQL适用于两个环境。

我认为由于配置,文件或sql编码,客户端或服务器上可能存在编码问题。


更新

我还尝试使用SQL加载UTF-8文件。正确加载文件并使用UTF-8字符调试SQL正确传递给Statement但结果是相同的。

new InputStreamReader(new FileInputStream(file),"UTF-8")

...

private void executeLineByLine(Reader reader) throws SQLException {
    StringBuffer command = new StringBuffer();
    try {
        BufferedReader lineReader = new BufferedReader(reader);
        String line;
        while ((line = lineReader.readLine()) != null) {
            command = handleLine(command, line);
        }
        checkForMissingLineTerminator(command);
    } catch (Exception e) {
        String message = "Error executing: " + command + ".  Cause: " + e;
        printlnError(message);
        throw new SQLException(message, e);
    }
}


private StringBuffer handleLine(StringBuffer command, String line) throws SQLException, UnsupportedEncodingException {
    String trimmedLine = line.trim();
    if (lineIsComment(trimmedLine)) {
        println(trimmedLine);
    } else if (commandReadyToExecute(trimmedLine)) {
        command.append(line.substring(0, line.lastIndexOf(delimiter)));
        command.append(LINE_SEPARATOR);
        println(command);
        executeStatement(command.toString());
        command.setLength(0);
    } else if (trimmedLine.length() > 0) {
        command.append(line);
        command.append(LINE_SEPARATOR);
    }
    return command;
}

private void executeStatement(String command) throws SQLException, UnsupportedEncodingException {
    boolean hasResults = false;
    Statement statement = connection.createStatement();
    hasResults = statement.execute(command);
    printResults(statement, hasResults);
    statement.close();
}

UPDATE2:

无法更改数据类型。该数据库是其他系统的一部分,已经包含数据。

数据库安装在7个不同的服务器上,其中三个使用Linux在UTF-8 shell中插入数据,数据是从db2命令行正确插入的。

从Windows db2命令行或使用Java,无法正确插入字符。

将Java源代码更改为UTF-8源会使System.out正确打印SQL,就像我看到调试sql变量一样。

当我插入此测试SQL时。它在System.out和Statement内部变量

中使用中性字符正确显示
INSERT INTO LANGS (IDIOMA,PAIS,TRADUC) VALUES ('zh','TW','TEST1 其他 FIN TEST1');

但在数据库中,测试显示为:

TEST3  FIN TEST3

HEX代表:

54 45 53 54 33 20 1A 1A 1A 1A 1A 1A 1A 1A 20 46 49 4E 20 54 45 53 54 33
T  E  S  T  3  _  ?  ?  ?  ?  ?  ?  ?  ?  _  F  I  N  _  T  E  S  T  3

我认为可能DB2 Java客户端一直使用Windows代码页(在这种情况下是ISO-8859-1或cp1252)而不是UTF-8,或者服务器正在使用主分类转换数据而不是替换整理表

UPDATE3:

我安装了一个名为DbVisualizer的Java SQL工具,当在SQL面板中粘贴SQL并运行它时,在Windows上使用此工具正确地插入到数据库中。

这让我怀疑这不是安装或数据类型的问题。可能是这三个因素中的一个。

  • 客户端配置
  • 客户端连接时发送的服务器属性
  • 使用的驱动程序类型

1 个答案:

答案 0 :(得分:2)

使用以下步骤解决问题:

  1. 始终使用db2jcc4.jar而不是db2jcc.jar(JDBC 4)

    • (在某些地方,在操作系统类路径中使用db2jcc而不是DB2jcc4配置了JDBC级别2)
  2. 设置环境变量DISABLEUNICODE = 0

  3. 此页面Understanding DB2 Universal Database character conversion中有关于DB2上的unicode的完整信息