mysql存储过程查询分表，分库分表后怎么查询数据

大家好，今天来为大家解答mysql存储过程查询分表这个问题的一些问题点，包括分库分表后怎么查询数据也一样很多人还不知道，因此呢，今天就来为大家分析分析，现在让我们一起来看看吧！如果解决了您的问题，还望您关注下本站哦，谢谢~

Mysql能存放百亿条数据吗

有，mysql是中小型的数据库，放亿单位以上的记录的话，那么此时如果通过select去查询，必定会效率低下（不做索引的前提下）。为了降低单表的读写IO压力，那么只能去做分表

mysql分库分表后，跨库跨表搜索如何排序

mysql分库分表后，跨库跨表搜索如何排序？

数据库分库分表可以说是非常常见的一种应对单表数据量过大的手段了。例如：我们的订单表，通常情况下，我们会将运单表按照1个月、3个月、6个月以上的维度进行划分，自然也就会按照时间进行订单表的水平切分。

这种情况下的分库分表非常好处理，因为我们能够强制的按照时间线将订单存储到不同的库中。但是，有可能我们的电商系统用户量大，订单量多，一天就有几十万单，可能仅仅半个月，我们的订单量就会上千万，再加上订单的商品数据表，如果不分表，订单表可能就会把系统给拖垮。

那么我们就必须面临将1个月内的数据也要按照一定的规则进行分库分表。我们可以将订单表一分为二，分为了OrderDB1，OrderDB2，按照我们按照订单号来进行区分。订单号是单数，我们就放到OrderDB1中，订单号是双数，我们就放到OrderDB2中。如此一来，订单表的数据就被平均的分配到了两个数据库的表中了，单表的压力也就降低了。

而这样分库分表以后，我们的订单表如果需要进行分页的排序就非常困难了，两个数据库中的数据如何进行跨库的分页排序查询呢？

一般我们有三种方法，分别是：全局视野方式、允许精度损失方式、二次查找方式。

先说全局视野方式

通常情况下我们要查找第三页的100条订单数据，我们会写一个SQL

select*fromTorderbytimeoffset200limit100;

但是分库以后，这100条数据可能存在很多种方式。

有可能是平均分布（极端情况）

也有可能是全部来自一个库（极端情况）

还有可能是散乱分布的（通常情况）

由于情况根据我们的OrderBy条件有很多的可能，所以我们很难知道第三页的数据到底从哪个库的哪个位置开始取数。如果我们需要精准的取到数据，那么就必须重新还原单库的那种全局视野。

如何还原全局视野呢？

还是用我们要查询第三页的数据来举例，我们之所以失去了全局视野，是因为我们无法一次性得到所有的数据结果，那么还原全局视野的方式就是让我们能够得到所有的数据结果。因此，我们可以将两个库中的从第一页到第三页的全部数据查询出来，然后在内存中合并后再进行排序，然后就能够取出正确的第三页数据了。

自然，我们的sql也就发生了变化，从

select*fromTorderbytimeoffset200limit100;

改为

select*fromTorderbytimeoffset0limit100+200;

使用全局视野方式的好处很明显，就是数据绝对的精准。但是缺点也同样明显，当查询的数据量大时，内存的消耗就会变多，而且在页码增大的时候，查询效率会急速的下降。当我们有N个数据库，我们需要从查询X到X+Y区间的数据时，那么我们的内存中将会需要组合N*(X+Y)条数据然后排序。

既然全局查询的方式有缺点，那我们就来解决这个缺点，但是肯定会有一些其他方面的牺牲。

允许精度损失方式

允许精度损失其实非常的好理解，就是我不去管数据在两个DB中是如何的分布的，我只是平均的从两个库中排序后取出50条数据，然后组合成为100条进行显示。

当然，这种方式的精度就是根据你排序的条件和数据存储的方式不同而变化的了。假设我们的数据都是按照时间有序的存储的，我们的排序也是根据时间来进行排序的，那么我们得到的结果就会比较精准。

但如果我们的数据是随机插入多个DB的，我们要按照时间进行排序查找，或者我们的数据是按照时间顺序插入DB的，但是我们需要根据其他条件进行查找时，数据的精度就会很差。这就看我们对于业务的需要是什么样的了。

不过，使用这种方式查找，我们就可以不用考虑性能上的问题，查询的复杂程度很低，只要我们的业务没有过多的要求，那么使用这种查找方式是最为推荐的。

当然，如果你的业务不允许这样的情况出现，还需要满足交互、效率等等各种需求，那么，就我们还可以使用下面这个方式。

二次查询方式

这可以说是解决分库查询的究极武器了，能够保证数据的精准度、查询的效率、用户的交互页面，牺牲的只是小小的性能开销和一些代码难度的上升。

方式其实也不难，假设我们要查询第21页的数据，每页5条。这个时候，我们先假设数据是平均分布的，但是我们在每个库都查询全量的5条数据。也就是：

select*fromTorderbytimeoffset100limit5;

这时，我们得到的数据可能是这样的。

而两个DB中，最小的时间是1487500001【minTime】，这个时间记录下来。两个DB中各自的最大时间也记录下来，分别是DB1：1487500041【maxTime1】和DB2：1487500061【maxTime2】。

这时，我们在使用时间去两个数据库中再次进行查询。

select*fromTwheretimebetweenminTimeandmaxTime1orderbytime;select*fromTwheretimebetweenminTimeandmaxTime2orderbytime;

由于之前minTime来自于DB1，因此，DB1的数据不会发生变化，但是DB2中的条件被放宽了，因此可能会查询出更多的数据。结果可能如下：

而两个结果集合并以后，相当于就获得了全局视野，也就可以很容易的找出这一页需要的5条数据了。

当然，我们还可以借助elasticsearch来完成分库的排序查找，由于elasticsearch引入了缓存机制，能够让查询更快。

mysql表数据量太大，达到了1亿多条数据，除了分库分表之外，还有没有其他的解决方式

通常来说，Mysql表的数据量达到一两千万之后，操作起来开始有些吃力了，如果数据量达到上亿，估计系统是吃不消的。

那么解决方案有哪些呢？我提几个思路：

就用Mysql，不考虑迁移分库分表其实是比较好的方案，但是已经被题主否了，就不详细说了；

表设计的优化：在设计表的时候，就要考虑性能问题了。例如字段尽量避免NULL，时间类型尽量使用TIMESTAMP，单表的字段不宜过多等等。

索引的优化：索引不是越多越好，也不是所有的字段都适合建立索引，使用多列索引的时候，要注意SQL中的条件顺序等。

SQL的优化：有的时候查询慢，可能是SQL写的烂。查询尽量用到索引，避免错误的写法导致索引失效，避免使用select*查询出来所有的列，拆分复杂的SQL语句，查询使用分页等等。

分区：分区表是独立的逻辑表，底层由多个物理表组成，这些对用户来说是透明的；如果按照分区字段查询数据的话，就会在某一张分区表内查询，速度回比较快；分区字段的选择，需要根据你们实际业务来；比如你们这张表如果可以分100个分区的话，那么每张表实际只有100万的数据；使用分区表尽量避免全表扫描；建议考虑这种优化方式。

抛弃Mysql，迁移数据库

如果公司有钱的话，可以直接上商业数据库，Oracle、DB2什么的，一亿的数据还是可以搞的定的，当然会也比较贵。

其他开源数据库，有可以支持千万级的产品，不过不建议使用，坑会比较多。

云数据库，可以考虑把数据迁移到云上，比如阿里云，花一些钱，少操一些；不过如果是比较敏感的数据，放到云上，多少会不太放心；私有云？这个也贵。

另外，如果不迁移Mysql的话，可以加以非关系型数据库进行辅助，例如一些数据放到Redis里面进行缓存，或者通过跑数的方式，把原始数据加工好放到Mongodb中提供查询，总之就是减少对数据库的访问。

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解，希望能得到你的关注。

mysql分表后怎么查询所有

mysql分表后查询所有的方法如下

输出所有的字段及不使用谓词如distinct,limit等、不分组汇总、不附加任何筛选条件和实施任何连接即可检索出该表的所有数据。

例如下列语句:select*fromt1（*号表示输出所有的字段）Mysql如何查询表中的数据：选择需要进行查询的数据库的链接地址。在数据库链接地址中，找到需要查询的数据库，双击将其数据库打开，可以看到数据库的颜色会由灰色变成彩色。点击上方的‘查询’功能，然后点击箭头所指的‘创建查询’功能。

MySQL分库分表之后，id主键如何处理

我从分库分表存在的问题和怎么做来回答一下这个问题。。

一，分库分表的ID主键不能依赖于数据库的自增，因为多库中会重复！

通常使用外接的数据组件获取全局唯一的ID：比如加强型UUID（根据Ip，时间戳等得到）和使用Redis(RedisAtomicLong)和zookeeper的API获取，Twitter的雪花算法等等！

二，分库分表之后的连接查询比较困难！

问题没法避免，通常拆分SQL，使用多次查询，用查到的结果再分别查别的结果！

三，分布式事务的数据一致性很难保证！

可以使用TCC编程模型保证两处的事务都能正确提交，但是这种方式对代码的侵入比较重！也可以使用基于消息的数据一致性保证！

四，多数据的排序，分组，统计会比较困难！

1，用多线程，对多个节点分别查询，然后汇总！

2，也可以提前冗余查询表，将所有的经常查询的重点数据提前统一到个库表里！

分库分表涉及到的知识点比较多，建议使用专门的分库分表组件！本人有mycat使用经验，如果您有相关问题，欢迎前来探讨！

关于mysql存储过程查询分表的内容到此结束，希望对大家有所帮助。