与Firefox DB管理器相比,JDBC SELECT非常慢

时间:2012-04-02 16:13:53

标签: java sql sqlite jdbc

解决了,当然在发布后点击它...现在使用http://www.xerial.org/trac/Xerial/wiki/SQLiteJDBC#Download中不需要大量配置的不同驱动程序。

休息之下的原始问题。


我正在使用包含OpenStreetMap数据的SQLite数据库,我在使用JDBC方面遇到了一些麻烦。

下面的查询是我想用来获取靠近我的用户位置的位置(数字来自我的测试数据,并由java代码添加)。

SELECT roads.nodeID, lat, lon 
FROM roads 
INNER JOIN nodes 
ON roads.nodeID=nodes.nodeID 
ORDER BY (ABS(lat - (12.598418)) + ABS(lon - (-70.043514))) ASC 
LIMIT 1

'道路'和'节点'都包含大约130,000行。

这个特定的查询是最密集的购买之一,它只使用两次,所以应该可以满足我的需求。使用Firefox SQLite时,它在大约281毫秒内执行,但在使用sqlitejdbc-v056的Java中,它需要12到14秒(完全处理器负载)。

有关如何解决此问题的任何线索?

public Node getNodeClosestToLocation(Location loc){
        try {
            Class.forName("org.sqlite.JDBC");
            Statement stat = conn.createStatement();
            String q = "SELECT roads.nodeID, lat, lon "+
            "FROM roads "+
            "INNER JOIN nodes "+
            "ON roads.nodeID=nodes.nodeID "+
            "ORDER BY (ABS(lat - ("+loc.getLat()+")) +
            ABS(lon - ("+loc.getLon()+"))) ASC "+
            "LIMIT 1";
            long start = System.currentTimeMillis();
            System.out.println(q);

            rs = stat.executeQuery(q);
            if(rs.next()) {
                System.out.println("Done. " + (System.currentTimeMillis() - start));

                return new Node(rs.getInt("nodeID"), rs.getFloat("lat"), rs.getFloat("lon"));
            }   

        }
        catch (SQLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (ClassNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        return null;
    }

2 个答案:

答案 0 :(得分:1)

当谈到在JDBC中选择语句查询时,如果它们没有被正确使用,它们会非常缓慢。几点:

  1. 确保索引表格中的正确列。一个简单的行,如:
  2. Statement stat = connection.createStatement();
    stat.executeUpdate("create index {index_name} on orders({column_name});");
    stat.close();

    创建索引:http://www.w3schools.com/sql/sql_create_index.asp

    1. 使用索引插入时间会更长,因为每次插入新记录时都需要更新以前的索引。在执行所有insert语句(性能更好)之后,最好先创建索引。索引列会影响插入性能,但选择性能会明显加快。

    2. 更改JDBC驱动程序可能会有所帮助,但总体上不应该是潜在的问题。还要确保您以纯模式运行。 Pure-java模式明显变慢,至少从我注意到的情况来看。假设您正在使用SQLite JDBC,以下代码段将告诉您正在运行的模式。

    3. System.out.println(String.format("%s mode", SQLiteJDBCLoader.isNativeMode() ? "native" : "pure-java"));

      我在历史记录超过500K的数据库中选择速度慢时遇到了同样的问题。如果我没有编入索引,我的申请的运行时间将为9.9天。现在这是一个超快的2分钟做同样的事情。当使用正确和优化的sql时,SQLite非常快。

答案 1 :(得分:0)

使用PreparedStatement可能会给你带来稍微好一点的表现,但这里所描述的幅度不大。

也许Firefox SQLite正在使用一些提示。您可以尝试获取执行计划,以查看查询在哪里进行繁重的工作,并在需要时创建一些索引。

您是否尝试记录任何计时信息以确保它没有获得昂贵的连接?