数据库charset UTF16没有显示正确的字符

时间:2015-02-13 08:50:05

标签: java mysql character-encoding

我在mysql中创建了一个数据库,方法是将每个表的数据库和字符集设置为utf16

我选择utf16的原因是,我想存储所有类型的数学方程,如ΦB= B.A =BAcosθβ(实际上是ΦB,B是上标)

不仅上面的公式,而且数据库可能有任何类型的希腊字母,如link

所示

我尝试通过阅读microsoft excel文件来插入数据 在执行查询之前,一切看起来在java代码中是正确的,但在数据库中插入后显示为?B = B.A = BAcos? ?

根据utf16支持的charset Link上面的等式对我来说应该没问题 但事实并非如此。

有什么想法吗?

数据库表架构

    mysql> SHOW CREATE TABLE formulae;
+----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table    | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| formulae | CREATE TABLE `formulae` (
  `formulaeid` int(11) NOT NULL AUTO_INCREMENT,
  `formulae` text CHARACTER SET utf16,
  `concept_conceptid` int(11) NOT NULL,
  PRIMARY KEY (`formulaeid`),
  KEY `fk_formulae_concept_idx` (`concept_conceptid`),
  CONSTRAINT `fk_formulae_concept` FOREIGN KEY (`concept_conceptid`) REFERENCES `concept` (`conceptid`) ON DELETE CASCADE ON UPDATE NO ACTION
) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf16 COLLATE=utf16_unicode_ci |
+----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

代码:

        final static int CONCEPT_SHEET_NUMBER = 0;
        final static int FORMULAE_SHEET_NUMBER = 1;

        //Reads xl file 
        public void readProductArgExcel(File inputFile) throws IOException {

            FileInputStream file = new FileInputStream(inputFile);
            XSSFWorkbook workBook = new XSSFWorkbook(file);
            boolean isError = false;
            for (int sheetNumber = 0; sheetNumber < workBook.getNumberOfSheets(); sheetNumber++) {
                XSSFSheet sheet = workBook.getSheetAt(sheetNumber);
                for (int i = 1; i <= sheet.getLastRowNum(); i++) {
                    isError = false;
                    Row row = sheet.getRow(i);
                    List<Object> columnValues = new ArrayList<Object>();
                    for (int j = 0; j < row.getPhysicalNumberOfCells(); j++) {
                        Cell cell = row.getCell(j);
                        if (!(cell == null)) {
                            if (cell.getCellType() == 0) {
                                Integer conceptId = (int) cell
                                        .getNumericCellValue();
                                columnValues.add(conceptId);
                            }
                            if (cell.getCellType() == 1) {
                                String rowString = cell
                                        .getStringCellValue();
                                columnValues.add(rowString);
                            }
                            switch (sheetNumber) {
                            case CONCEPT_SHEET_NUMBER:

                                break;
                            //XL file has two sheets, second sheet has few formulae
                            case FORMULAE_SHEET_NUMBER:{
                                if(j == 1){
                                    if(columnValues.size() >= 2)
                            //this xl sheet has column 1 - formula, column2 - integer
                                        insertFormulae((String)columnValues.get(0),(Integer)columnValues.get(1));
                                }
                                break;
                            }

                            default:
                                break;
                            }
                        }
                    }
                }
                System.out.println(sheet.getSheetName());
            }
        }

        public static Connection getConnection() throws InstantiationException,
        IllegalAccessException, ClassNotFoundException, SQLException {
            Connection connection = null;

    /*Tried with but didn't work
    jdbc:mysql://localhost:3306/formulaeDB?useUnicode=true&characterEncoding=utf16

    but it perfectly works with 
    jdbc:mysql://localhost:3306/formulaeDB?useUnicode=true&characterEncoding=utf8

    */
            String connectionURL = "jdbc:mysql://localhost:3306/formulaeDB";
            Class.forName("com.mysql.jdbc.Driver").newInstance();
            connection = DriverManager.getConnection(connectionURL, "root","root"); 

    /*The below code throws an exception 
     com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Variable 'character_set_client' can't be set to the value of 'utf16'
    */
            String queryString = "SET NAMES utf16";
            PreparedStatement preparedStatement = connection.prepareStatement(
                    queryString, PreparedStatement.RETURN_GENERATED_KEYS);
            preparedStatement.executeUpdate();

            return connection;
        }

//To insert into table
        public static void insertFormulae(String formula,Integer conceptId){
            String queryString = "INSERT INTO formulae(formulae,concept_conceptid) VALUES(?,?)";
            Connection connection;
            try {
                connection = getConnection();

                PreparedStatement preparedStatement = connection.prepareStatement(
                        queryString, PreparedStatement.RETURN_GENERATED_KEYS);
                preparedStatement.setString(1, formula);
                preparedStatement.setInt(2, conceptId);

                preparedStatement.executeUpdate();

            } catch (InstantiationException | IllegalAccessException
                    | ClassNotFoundException | SQLException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }

        public static void main(String st[]) throws IOException {
            ExcelParser r = new ExcelParser();
            r.readProductArgExcel(new File(
                    “c://data/Formulae.xlsx"));
        }

2 个答案:

答案 0 :(得分:1)

您需要确保从excel读取的数据正确,您的表已正确创建,连接已正确设置,以及从excel读取数据并将其写入数据库的代码是工作正常。

如果所有这些都没有问题,那么接下来要怀疑的是,数据库中的数据可能就好了,你观察数据的方法也是错误的。

具体来说,如果您使用mysql控制台命令,那么您需要确保控制台能够正确显示从您的数据库中提取的unicode字段。

图形数据库管理工具通常没有这些缺点,所以为什么不使用&#34; MySQL Workbench&#34;与MySQL一起发布的工具?

这应该照顾你的unicode问题。

您仍会遇到其他问题:格式化。

上传和下标是unicode几乎没有支持的东西,(你可以有一些上标数字,那就是它),所以excel使用单元格文本中的特殊格式来表示上标和下标。

不幸的是,当您按照自己的方式阅读单元格时,excel不会为您提供此格式。这似乎是一个难以解决的问题,但这里似乎有某种解决方案:Reading rich text from an Excel cell

答案 1 :(得分:0)

我听说没有产品暴露utf16。 Utf8是通常的交换格式。 MySQL的utf8mb4甚至更好,因为它允许4字节的utf8字符(它的utf8没有)。

将所有设置更改为utf8以查看它们是否更好地互操作。

如果您已经拥有包含utf16字符的数据文件或数据库,则问题就更严重了。