Question

天儿真好！

我有一百万个不同的单词，我想在一个有1500万行的表中查询。同义词和单词的结果将在每次查询后得到处理。

表格如下：

    synonym      word
    ---------------------
    ancient      old
    anile        old
    centenarian  old
    darkened     old
    distant      far
    remote       far
    calm         gentle
    quite        gentle

目前这是用Java完成的：

....
PreparedStatement stmt;
ResultSet wordList;
ResultSet syns;
...

stmt = conn.prepareStatement("select distinct word from table");
wordList = stmt.executeQuery();

while (wordList.next()) {
    stmt = conn.prepareStatement("select synonym from table where word=?");
    stmt.setString(1, wordList.getString(1));
    syns = stmt.executeQuery();

    process(syns, wordList.getString(1));
}
...

这令人难以置信的缓慢。做这样的事情的最快方法是什么？

干杯，克里斯

Answer 1

确保'word'列上有索引。
将第二个prepareStatement移到word循环之外。每次创建新语句时，数据库都会编译并优化查询 - 但在这种情况下查询是相同的，所以这是不必要的。
将上述sblundy的陈述合并完成。

Answer 2

两个想法：

a）如何制作一个查询：

select synonym from table where word in (select distinct word from table)

b）或者，如果您process方法需要将它们作为一个单词的一组同义词来处理，为什么不按word对它们进行排序并每次重新开始process { {1}}有什么不同？该查询将是：

word

Answer 3

如果您要查询所有这些内容中的同义词，为什么要查询循环内的同义词？您应该使用单个select word, synonym from table order by word，然后在Java代码中按字分割。

Answer 4

PreparedStatement stmt;
ResultSet syns;
...

stmt = conn.prepareStatement("select distinct " + 
                             "  sy.synonm " + 
                             "from " +
                             "  table sy " +
                             "  table wd " +
                             "where sy.word = wd.word");
syns = stmt.executeQuery();
process(syns);

Answer 5

相关但不相关：

while (wordList.next()) {
    stmt = conn.prepareStatement("select synonym from table where word=?");
    stmt.setString(1, wordList.getString(1));
    syns = stmt.executeQuery();

    process(syns, wordList.getString(1));
}

你应该在循环之外移动预先初始化调用：

stmt = conn.prepareStatement("select synonym from table where word=?");
while (wordList.next()) {
    stmt.setString(1, wordList.getString(1));
    syns = stmt.executeQuery();

    process(syns, wordList.getString(1));
}

准备语句的重点是db编译/缓存/ etc，因为你将重复使用该语句。如果要进行那么多查询，也可能需要明确地清理结果集，以确保不会耗尽游标。

Answer 6

您还应该考虑使用语句对象的setFetchSize方法来减少应用程序和数据库之间的上下文切换。如果您知道要处理一百万条记录，则应使用setFetchSize（someRelativelyHighNumberLike1000）。这告诉java每次从Oracle需要更多记录时最多可以抓取1000条记录[而不是一次抓取一条记录，这是这种批处理操作的最坏情况]。这将提高您的程序的速度。您还应该考虑重构和对单词/同义词进行批处理，如

fetch 1
流程1
重复

慢于

获取50/100/1000
流程50/100/1000
重复

在某个数组结构中按住50/100/1000 [或者一次检索多少]，直到你处理它们为止。

Answer 7

问题解决了。重要的是，表可以按字排序。因此，我可以轻松地遍历整个表格。像这样：

....
Statement stmt;
ResultSet rs;
String currentWord;
HashSet<String> syns = new HashSet<String>();
...

stmt = conn.createStatement();
rs = stmt.executeQuery(select word, synonym from table order by word);

rs.next();
currentWord = rs.getString(1);
syns.add(rs.getString(2));

while (rs.next()) {
    if (rs.getString(1) != currentWord) {
        process(syns, currentWord);
        syns.clear();
        currentWord = rs.getString(1);
    }
    syns.add(rs.getString(2));
}
...

在Oracle DB中选择数百万行的最佳方法

7 个答案: