Question

在网页上处理大量数据条目的最佳方法是什么？

假设我在一个包含song_name，author_name，song_id，posted_by的表上有5000条记录的数据库;我想在一个页面上构建一个包含所有歌曲的播放列表。此页面上还有一个播放器，可根据页面上显示的播放列表条目播放歌曲。

我试图从该表中提取所有5000个条目并使用它们构建一个javascript对象，并处理该对象我已经构建了播放列表，在播放列表中搜索，等等。但是这需要非常大量的资源（不是用户端）和大量的页面加载时间（因为有很多条目！）并且页面非常慢。

是否最好将所有数据加载到对象中并通过 JavaScript 分页播放列表的每100条记录，或者从数据库中分页结果并更新播放列表？（考虑到如果播放器启用了 shuffle 按钮，它可以随机播放到用户数据库中的任何歌曲，而不仅仅是来自可见播放列表的当前歌曲< / strong>）

Answer 1

我认为分页是你最好的选择。只需创建一个100的限制（例如）并使用AJAX提取下一个100.如果客户端打开shuffle，只需向服务器发送另一个请求，让它调用执行以下操作的函数：

计算数据库中的总行数
使用randomize函数获取100个随机数
现在创建一个稍微棘手的查询来从基于数据库的记录中获取记录他们的rownumber：

function getRandomTracks（$ limit）{

  $total = $this->db->count_all('table_tracks');

  //Get random values. Speed optimization by predetermine random rownumbers using php

  $arr = array();
  while (count($arr) < $limit) { 
    $x = mt_rand(0, $total); //get random value between limit and 0
    if (!isset($arr[$x])) { //Random value must be unique
      //using random value as key and check using isset is faster then in_array
      $arr[$x] = true; 
    }
  }

  //Create IN string
  $in = implode(',', array_keys($arr));

  //Selection based on random rownumbers
  $query = $this->db->query('SELECT * FROM
      (SELECT  @row := @row + 1 as row, t.*
         FROM `table_tracks` t, (SELECT @row := 0) r) AS tracks
     WHERE `row` IN(' . $in . ')');

  return $query->result();

}

我正在使用类似的功能，也会处理大量的曲目（超过300.000），所以我相信这会有效！

Answer 2

使用ajax以100（或更多，只是尝试）的步长加载数据

对记录集进行循环并每次增加限制：

<?php
$Step = 100;
$u_limit = 0;
$sql = "SELECT song_id FROM $MySQL_DB.songs";
$data = mysql_query($sql, $dblk);
$numer_of_entries = mysql_num_rows($data);
while($o_limit < $numnumer_of_entries)
{
    $o_limit = u_limit + $Step;
    $sql = "SELECT * FROM $MySQL_DB.songs order by id DESC LIMIT $u_limit, $o_limit";
    $data = mysql_query($sql, $dblk);
    while($row = mysql_fetch_array($data))
    {
        // built an array and return this to ajax
    }
    $u_limit += $Step;
}

Answer 3

即使您使用的是jQuery或其他库，也很难将“整个”数据加载到客户端程序，因为关键因素不是您使用的是什么代码/ sdk而是浏览器本身！
顺便说一句，chrome是最快的，IE（在ver.10之前）是最低的。

您可以参考以下链接：
http://www.infoq.com/news/2010/09/IE-Subsystems-Spends-Time
http://www.nczonline.net/blog/2009/01/05/what-determines-that-a-script-is-long-running/
http://www.zdnet.com/browser-benchmarks-ie-firefox-opera-and-safari-3039420732/
http://msdn.microsoft.com/en-us/library/Bb250448
http://support.microsoft.com/kb/175500/en-us

所以你应该做的就是将客户端逻辑移到服务器端，就像其他人建议的那样。

正如您所提到的那样，为了获取所有数据的分页，但只使用javascript，它实质上与无分页相同。

Answer 4

试试这个：http://www.datatables.net/

我想知道但也许它有效。

显示大量数据的最佳方式

4 个答案: