在php和mysql大表中更改数据的分页?

时间:2016-02-18 11:15:00

标签: php mysql performance pagination

我需要在PHP和Mysql中处理分页,问题陈述如下:
我有一个表有成千上万条关于2个外键关系的记录说“User”和“Item”,并且这个表经常更改为特定用户添加或删除Item。现在我想列出具有分页的所有项目和标题中的总计数。我的表是MyISAM,也使用SQL_CALC_FOUND_ROWS。表结构如下,具有巨大的基数。

CREATE TABLE `USER_ITEMS` (
  `ID` int(11) NOT NULL,
  `ITEMS` int(11) unsigned NOT NULL DEFAULT '0',
  `USER` int(11) unsigned NOT NULL DEFAULT '0',
  `TYPE` char(1) NOT NULL DEFAULT '',
  `TIME` datetime NOT NULL DEFAULT '0000-00-00 00:00:00',
  `SEEN` char(1) NOT NULL,
  `FILTERED` char(1) NOT NULL,
  PRIMARY KEY (`ID`),
  UNIQUE KEY `IND1` (`USER`,`ITEMS`),
  KEY `USER` (`USER`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;

解决方案我试了一下:

  1. 我对所有分页使用限制对Mysql执行选择,但是如果实时删除则会获得重复项目,或者如果在分页时添加任何项目则会丢失项目。由于订单和其他顺序,我们很多次都是非常慢的查询领先业绩的条件。这很简单选择查询的位置,顺序和限制。
  2. 我使用Memcache存储他查看的页面的项目,并在分页期间获取除Memcache中的项目之外的项目,但这也会导致查询速度变慢。这是选择查询,其中ITEMS NOT IN,order by和limit
  3. 问题主要是数据的准确性,查询执行时间和网络窒息的性能,php内存耗尽。

    我想知道这些是否是相同的一般做法,或者我们是否有更好的实现/引擎/缓存用于此类场景。

2 个答案:

答案 0 :(得分:0)

  

我使用此分页来获取用户的个人资料,希望这可能对您有所帮助。

<?php

     $dbhost = 'localhost';
     $dbuser = 'xyz';
     $dbpass = 'vbN';

     $rec_limit = 1;
     $conn = mysql_connect($dbhost, $dbuser, $dbpass);

     if(! $conn )
     {
        die('Could not connect: ' . mysql_error());
     }
     mysql_select_db('xyz');

     /* Get total number of records */
     $sql = "SELECT count(user_id) FROM se_users";
     $retval = mysql_query( $sql, $conn );

     if(! $retval )
     {
        die('Could not get data: ' . mysql_error());
     }
     $row = mysql_fetch_array($retval, MYSQL_NUM );
     $rec_count = $row[0];

     if( isset($_GET{'page'} ) )
     {
        $page = $_GET{'page'} + 1;
        $offset = $rec_limit * $page ;
     }
     else
     {
        $page = 0;
        $offset = 0;
     }
     $left_rec = $rec_count - ($page * $rec_limit);
     $sql = "SELECT company_name, e_mail, international_code, mob_number, nationality, current_loc, pref_location, 
     key_skills, address, user_dob, training, lang1, lang2, lang3, lang4 ".
        "FROM se_job_contracts ".
        "LIMIT $offset, $rec_limit";

     $retval = mysql_query( $sql, $conn );

     if(! $retval )
     {
        die('Could not get data: ' . mysql_error());
     }

     while($row = mysql_fetch_array($retval, MYSQL_ASSOC))
     {
        echo "<b>Company Name</b> :{$row['company_name']}  <br> ".
           "<b>Email-ID</b> : {$row['e_mail']} <br> ".
           "<b>International code </b> : {$row['international_code']}  "."<b>Mobile No </b> : {$row['mob_number']} <br> ".
           "<b>Nationality </b> : {$row['nationality']} <br> ".
           "<b>Current Location </b> : {$row['current_loc']} <br> ".
           "<b>Preferred Location </b> : {$row['pref_location']} <br> ".
           "<b>Key Skills </b> : {$row['key_skills']} <br> ".
           "<b>Address </b> : {$row['address']} <br> ".
           "<b>User DOB </b> : {$row['user_dob']} <br> ".
           "<b>Training  </b> : {$row['training']} <br> ".
           "<b>Language known 1 </b> : {$row['lang1']} <br> ".
           "<b>Language known 2 </b> : {$row['lang2']} <br> ".
           "<b>Language known 3 </b> : {$row['lang3']} <br> ".
           "<b>Language known 4  </b> : {$row['lang4']} <br> ".
           "--------------------------------<br>";
     }

     if( $page > 0 )
     {
        $last = $page - 2;
        echo "<a href=\"$_PHP_SELF?page=$last\">Previous </a> |";
        echo "<a href=\"$_PHP_SELF?page=$page\">Next >></a>";
     }
     else if( $page == 0 )
     {
        echo "<a href=\"$_PHP_SELF?page=$page\">Next >></a>";
        }   
     else if( $left_rec < $rec_limit )
     {
        $last = $page - 2;
        echo "<a href=\"$_PHP_SELF?page=$last\">Previous </a>";
     }
    mysql_close($conn);
  ?>

答案 1 :(得分:0)

对于没有丢失/重复条目的分页,你需要记住你离开的地方&#34;而不是使用OFFSET

也就是说,对于&#34; next&#34;页面,做

WHERE id > $last
ORDER BY id
LIMIT 10

然后保留[Next]按钮的最后一个ID。 (由于您没有提供代码,我不能更具体。)

更多细节是my pagination blog中的资金。

INDEX(user)是多余的,因为您有UNIQUE(user, items)

考虑删除id,因为唯一键可以提升为PK。有关通过复合键进行迭代,请参阅another blog