Question

我有300 000行的数据库，我需要通过算法过滤一些行。

protected boolean validateMatch(DbMatch m) throws MatchException, NotSupportedSportException{

    // expensive part
    List<DbMatch> hh = sd.getMatches(DateService.beforeDay(m.getStart()), m.getHt(), m.getCountry(),m.getSportID());
    List<DbMatch> ah = sd.getMatches(DateService.beforeDay(m.getStart()), m.getAt(), m.getCountry(),m.getSportID());
    ....

我的来自Mysql的加载数据的hibernate dao函数使用了init数组大小的2倍。

public List<DbMatch> getMatches(Date before,String team, String country,int sportID) throws NotSupportedSportException{
    //Match_soccer where date between :start and :end
    Criteria criteria = session.createCriteria(DbMatch.class);
    criteria.add(Restrictions.le("start",before));
    criteria.add(Restrictions.disjunction()
            .add(Restrictions.eq("ht", team))
            .add(Restrictions.eq("at", team)));

    criteria.add(Restrictions.eq("country",country));
    criteria.add(Restrictions.eq("sportID",sportID));
    criteria.addOrder(Order.desc("start") );
    return criteria.list();
}

我尝试过滤数据的示例

function List<DbMatch> filter(List<DbMatch> mSet){
   List<DbMatch> filtred = new ArrayList<>();
   for(DbMatch m:mSet){
      if(validateMatch(DbMatch m))filtred.add(m);
   }
}

（1）我尝试了不同的标准设置并用秒表计算了功能时间。我的结果是，当我使用filter(matches)匹配大小为1000时，我的程序需要3分21秒659毫秒。

（2）我尝试删除criteria.addOrder(Order.desc("start"));而不是3分12秒811 ms后过滤的程序。

（3）但如果我删除criteria.addOrder(Order.desc("start"));并添加criteria.setMaxResults(1);结果为22 s 311 ms。

使用最后的配置我可以过滤掉所有300 000条记录22,3 * 300 = 22300秒（~6小时），但是如果使用第一个功能我应该等待（~60小时）。

如果我想要使用没有顺序和限制的标准，我必须确保我的表在数据库上按日期排序，因为重要的是获得最后一个匹配。

所有数据都存储在matches表格中。

表索引：

Table，Non_unique，Key_name，Seq_in_index，Column_name，Collation，Cardinality，Sub_part，Packed，Null，Index_type，Comment，Index_comment

匹配，0，PRIMARY，1，mid，A，220712 ,,,, BTREE ,,
matches，0，UK_kcenwf4m58fssuccpknl1v25v，1，beid，A，220712 ,,, YES，BTREE ,,

已更新

将ALTER TABLE matches ADD INDEX (sportID, country);现在的节目时间添加到15秒后进行1000场比赛。但是如果我不使用order by并且添加限制则需要等待4s才能获得1000次算术。

我应该如何应对这种情况来提高程序执行速度？

Answer 1

您的首要任务是确定每个组件处理请求所需的时间。

找出ORM生成的SQL查询，并在MySQL工作台中手动运行，查看需要多长时间（非缓存）。您也可以要求它解释索引使用情况。

如果它足够快，那么你的java代码需要更长的时间，你需要优化你的算法。您可以使用JConsole进一步深入研究。

如果您确定哪个组件花费的时间更长，您可以在此处发布您的分析，我们可以相应地提出建议。

怎么加速程序？（很多慢的mysql查询）

1 个答案:

怎么加速程序？ （很多慢的mysql查询）

1 个答案:

怎么加速程序？（很多慢的mysql查询）