分页查询的sql语句,多条sql怎么分页
- 开发语言
- 2023-08-13
- 147
大家好,感谢邀请,今天来为大家分享一下分页查询的sql语句的问题,以及和多条sql怎么分页的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可...
大家好,感谢邀请,今天来为大家分享一下分页查询的sql语句的问题,以及和多条sql怎么分页的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可以帮助到大家,解决大家的问题,下面就开始吧!
mysql数据库,分表后,怎么进行分页查询Mysql分库分表方案
Mysql分库分表方案
1.为什么要分表:
当一张表的数据达到几千万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。
mysql中有一种机制是表锁定和行锁定,是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作,必须等我对表操作完才行。行锁定也一样,别的sql必须等我对这条数据操作完了,才能对这条数据进行操作。
2.mysqlproxy:amoeba
做mysql集群,利用amoeba。
从上层的java程序来讲,不需要知道主服务器和从服务器的来源,即主从数据库服务器对于上层来讲是透明的。可以通过amoeba来配置。
3.大数据量并且访问频繁的表,将其分为若干个表
比如对于某网站平台的数据库表-公司表,数据量很大,这种能预估出来的大数据量表,我们就事先分出个N个表,这个N是多少,根据实际情况而定。
某网站现在的数据量至多是5000万条,可以设计每张表容纳的数据量是500万条,也就是拆分成10张表,
那么如何判断某张表的数据是否容量已满呢?可以在程序段对于要新增数据的表,在插入前先做统计表记录数量的操作,当<500万条数据,就直接插入,当已经到达阀值,可以在程序段新创建数据库表(或者已经事先创建好),再执行插入操作。
4.利用merge存储引擎来实现分表
如果要把已有的大数据量表分开比较痛苦,最痛苦的事就是改代码,因为程序里面的sql语句已经写好了。用merge存储引擎来实现分表,这种方法比较适合.
如何进行分页设计可以让sql更高效
高效的分页设计就是只包含上下页,而没有用页数的统计,也没有最后一页的设计。可以采用下拉加载这种设计方案,或者是瀑布流,用户很少会有翻页到最后一页的需求,就像搜索引擎一样,基本大家查看的都是前三页的内容,如果没有找到,一般都会替换关键词进行查找。这就说明,用户只关心自己感兴趣的你提供更多的内容,如果用户不感兴趣,那就是没有任何意义。
因此,我们说到高效分页设计,其实考察的还是内容的排序设计,如何把用户感兴趣的内容排列在前面,这样的排序才有价值,用户才满意,而这些正是现在的抖音,今日头条的推荐算法。所以说,在这方面,今日头条的算法还是很强大的。
最后,我们说回sql,进行分页查询的时候,大部分我们使用的是limit进行限定分页,但是,真的当数据量很大的时候,我们就需要对查询进行条件限定,因为对于limit100000000000,10
这样的查询语句,就是获取很大数据后的10条数据,查询效率会很低,这个时候如果我们加上限定条件whereid>1000000000000limit10,这样查询的效果就会非常快,当然,这里需要满足我们的数据是连续的。
MySQL如何优化大分页查询
很多应用往往只展示最新或最热门的几条记录,但为了旧记录仍然可访问,所以就需要个分页的导航栏。然而,如何通过MySQL更好的实现分页,始终是比较令人头疼的问题。虽然没有拿来就能用的解决办法,但了解数据库的底层或多或少有助于优化分页查询。
我们先从一个常用但性能很差的查询来看一看。
SELECT*
FROMcity
ORDERBYidDESC
LIMIT0,15
这个查询耗时0.00sec。So,这个查询有什么问题呢?实际上,这个查询语句和参数都没有问题,因为它用到了下面表的主键,而且只读取15条记录。
CREATETABLEcity(
idint(10)unsignedNOTNULLAUTO_INCREMENT,
cityvarchar(128)NOTNULL,
PRIMARYKEY(id)
)ENGINE=InnoDB;
真正的问题在于offset(分页偏移量)很大的时候,像下面这样:
SELECT*
FROMcity
ORDERBYidDESC
LIMIT100000,15;
上面的查询在有2M行记录时需要0.22sec,通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行,但最后只需要15行。大的分页偏移量会增加使用的数据,MySQL会将大量最终不会使用的数据加载到内存中。就算我们假设大部分网站的用户只访问前几页数据,但少量的大的分页偏移量的请求也会对整个系统造成危害。Facebook意识到了这一点,但Facebook并没有为了每秒可以处理更多的请求而去优化数据库,而是将重心放在将请求响应时间的方差变小。
对于分页请求,还有一个信息也很重要,就是总共的记录数。我们可以通过下面的查询很容易的获取总的记录数。
SELECTCOUNT(*)
FROMcity;
然而,上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec。一个不正确的优化是采用SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS可以在能够在分页查询时事先准备好符合条件的记录数,随后只要执行一句selectFOUND_ROWS();就能获得总记录数。但是在大多数情况下,查询语句简短并不意味着性能的提高。不幸的是,这种分页查询方式在许多主流框架中都有用到,下面看看这个语句的查询性能。
SELECTSQL_CALC_FOUND_ROWS*
FROMcity
ORDERBYidDESC
LIMIT100000,15;
这个语句耗时20.02sec,是上一个的两倍。事实证明使用SQL_CALC_FOUND_ROWS做分页是很糟糕的想法。
下面来看看到底如何优化。文章分为两部分,第一部分是如何获取记录的总数目,第二部分是获取真正的记录。
高效的计算行数
如果采用的引擎是MyISAM,可以直接执行COUNT(*)去获取行数即可。相似的,在堆表中也会将行数存储到表的元信息中。但如果引擎是InnoDB情况就会复杂一些,因为InnoDB不保存表的具体行数。
我们可以将行数缓存起来,然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时,执行下面的语句:
SELECTCOUNT(*)
FROMcity
USEINDEX(PRIMARY);
获取记录
下面进入这篇文章最重要的部分,获取分页要展示的记录。上面已经说过了,大的偏移量会影响性能,所以我们要重写查询语句。为了演示,我们创建一个新的表“news”,按照时事性排序(最新发布的在最前面),实现一个高性能的分页。为了简单,我们就假设最新发布的新闻的Id也是最大的。
CREATETABLEnews(
idINTUNSIGNEDPRIMARYKEYAUTO_INCREMENT,
titleVARCHAR(128)NOTNULL
)ENGINE=InnoDB;
一个比较高效的方式是基于用户展示的最后一个新闻Id。查询下一页的语句如下,需要传入当前页面展示的最后一个Id。
SELECT*
FROMnewsWHEREid<$last_id
ORDERBYidDESC
LIMIT$perpage
查询上一页的语句类似,只不过需要传入当前页的第一个Id,并且要逆序。
SELECT*
FROMnewsWHEREid>$last_id
ORDERBYidASC
LIMIT$perpage
上面的查询方式适合实现简易的分页,即不显示具体的页数导航,只显示“上一页”和“下一页”,例如博客中页脚显示“上一页”,“下一页”的按钮。但如果要实现真正的页面导航还是很难的,下面看看另一种方式。
SELECTid
FROM(
SELECTid,((@cnt:=@cnt+1)+$perpage-1)%$perpagecnt
FROMnews
JOIN(SELECT@cnt:=0)T
WHEREid<$last_id
ORDERBYidDESC
LIMIT$perpage*$buttons
)C
WHEREcnt=0;
通过上面的语句可以为每一个分页的按钮计算出一个offset对应的id。这种方法还有一个好处。假设,网站上正在发布一片新的文章,那么所有文章的位置都会往后移一位,所以如果用户在发布文章时换页,那么他会看见一篇文章两次。如果固定了每个按钮的offsetId,这个问题就迎刃而解了。MarkCallaghan发表过一篇类似的博客,利用了组合索引和两个位置变量,但是基本思想是一致的。
如果表中的记录很少被删除、修改,还可以将记录对应的页码存储到表中,并在该列上创建合适的索引。采用这种方式,当新增一个记录的时候,需要执行下面的查询重新生成对应的页号。
SETp:=0;
UPDATEnewsSETpage=CEIL((p:=p+1)/$perpage)ORDERBYidDESC;
当然,也可以新增一个专用于分页的表,可以用个后台程序来维护。
UPDATEpaginationT
JOIN(
SELECTid,CEIL((p:=p+1)/$perpage)page
FROMnews
ORDERBYid
)C
ONC.id=T.id
SETT.page=C.page;
现在想获取任意一页的元素就很简单了:
SELECT*
FROMnewsA
JOINpaginationBONA.id=B.ID
WHEREpage=$offset;
还有另外一种与上种方法比较相似的方法来做分页,这种方式比较试用于数据集相对小,并且没有可用的索引的情况下—比如处理搜索结果时。在一个普通的服务器上执行下面的查询,当有2M条记录时,要耗费2sec左右。这种方式比较简单,创建一个用来存储所有Id的临时表即可(这也是最耗费性能的地方)。
CREATETEMPORARYTABLE_tmp(KEYSORT(random))
SELECTid,FLOOR(RAND()*0x8000000)random
FROMcity;
ALTERTABLE_tmpADDOFFSETINTUNSIGNEDPRIMARYKEYAUTO_INCREMENT,DROPINDEXSORT,ORDERBYrandom;
接下来就可以向下面一样执行分页查询了。
SELECT*
FROM_tmp
WHEREOFFSET>=$offset
ORDERBYOFFSET
LIMIT$perpage;
简单来说,对于分页的优化就是。。。避免数据量大时扫描过多的记录。
如何使用mybatis实现分页
1、亲Mybatis是自己写Sql语句啊,和Hibernate不一样。
2、如何知道上面的,你还要知道MySql有一个分页语句叫limit,如:limit(1,10);前面一个参数是起始未知,后面一个是查询多少个。
3、Oracle的分页方法是嵌套子查询,需要用到rownum这个属性SqlServer是Top。分页例子:Oracleselect*from(selectemp.*,rownumrnfromempwhererownum<9)wherern>3;MySqlselect*fromemplimitstartIndex,maxNum
高效的mysql分页方法及原理
一,最常见MYSQL最基本的分页方式:
select*fromcontentorderbyiddesclimit0,10
在中小数据量的情况下,这样的SQL足够用了,唯一需要注意的问题就是确保使用了索引。随着数据量的增加,页数会越来越多,查看后几页的SQL就可能类似:
select*fromcontentorderbyiddesclimit10000,10
就是越往后分页,LIMIT语句的偏移量就会越大,速度也会明显变慢。
此时,可以通过2种方式:
一,子查询的分页方式来提高分页效率,飘易用的SQL语句如下:
SELECT*FROMcontentWHEREid>(SELECTidFROMcontentORDERBYiddescLIMIT".($page-1)*$pagesize.",1)ORDERBYiddescLIMIT$pagesize
为什么会这样呢?因为子查询是在索引上完成的,而普通的查询时在数据文件上完成的,通常来说,索引文件要比数据文件小得多,所以操作起来也会更有效率。(via)通过explainSQL语句发现:子查询使用了索引!
idselect_typetabletypepossible_keyskeykey_lenrefrowsExtra
1PRIMARYcontentrangePRIMARYPRIMARY4NULL6264Usingwhere
2SUBQUERYcontentindexNULLPRIMARY4NULL27085Using
如何实现分页查询
回答如下:分页查询可以通过以下步骤实现:
1.定义每页显示的记录数,如每页显示10条记录。
2.定义查询的起始位置,如第1页从0开始查询,第2页从10开始查询。
3.执行查询语句时,加入limit关键字,如查询第1页的语句为:select*fromtablelimit0,10。
4.查询结果返回后,根据总记录数和每页显示的记录数,计算出总页数。
5.在页面上显示查询结果,并提供翻页功能,如上一页、下一页、跳转到指定页等。
6.根据用户的操作,重新计算起始位置,并重新执行查询语句,返回新的查询结果。
需要注意的是,分页查询可能会影响查询性能,因此需要合理设置每页显示的记录数,避免一次查询返回过多的记录。同时,可以通过索引优化等手段提高查询效率。
关于本次分页查询的sql语句和多条sql怎么分页的问题分享到这里就结束了,如果解决了您的问题,我们非常高兴。
本文链接:http://www.xinin56.com/kaifa/2167.html