写在前面
MySQL数据库在互联网行业使用的比较多 , 有些小伙伴可能会认为MySQL数据库比较小 , 存储不了很多的数据 。其实 , 这些小伙伴是真的不了解MySQL 。MySQL的小不是说使用MySQL存储的数据少 , 而是说其体积小 , 比较轻量 。使用MySQL完全可以存储千亿级别的数据 , 这个我会在后面的文章中来给小伙伴们分享如何使用MySQL存储千亿级别以上的数据 。或者小伙伴们可以提前预定我的新书《MySQL技术大全:开发、优化与运维实战》 。好了 , 说了这么多 , 今天给大家分享一篇有关MySQL的经典面试题:如何以最高的效率从MySQL中随机查询一条记录?方法一【如何将MySQL查询性能优化到极致?】这是最原始最直观的语法 , 如下:
SELECT * FROM foo ORDER BY RAND() LIMIT 1
当数据表中数据量较小时 , 此方法可行 。但当数据量到达一定程度 , 比如100万数据或以上 , 就有很大的性能问题 。如果你通过EXPLAIN来分析这个 语句 , 会发现虽然MySQL通过建立一张临时表来排序 , 但由于ORDER BY和LIMIT本身的特性 , 在排序未完成之前 , 我们还是无法通过LIMIT来获取需要的记录 。亦即 , 你的记录有多少条 , 就必须首先对这些数据进行排序 。方法二看来对于大数据量的随机数据抽取 , 性能的症结出在ORDER BY上 , 那么如何避免?方法二提供了一个方案 。
首先 , 获取数据表的所有记录数:
SELECT count(*) AS num_rows FROM foo
然后 , 通过对应的后台程序记录下此记录总数(假定为num_rows) 。然后执行:
SELECT * FROM foo LIMIT [0到num_rows之间的一个随机数],1
上面这个随机数的获得可以通过后台程序来完成 。此方法的前提是表的ID是连续的或者自增长的 。这个方法已经成功避免了ORDER BY的产生 。
方法三有没有可能不用ORDER BY , 用一个SQL语句实现方法二?可以 , 那就是用JOIN 。
SELECT * FROM Bar B JOIN (SELECT CEIL(MAX(ID)*RAND()) AS ID FROM Bar) AS m ON B.ID >= m.ID LIMIT 1;
此方法实现了我们的目的 , 同时 , 在数据量大的情况下 , 也避免了ORDER BY所造成的所有记录的排序过程 , 因为通过JOIN里面的SELECT语句实际上只执行了一次 , 而不是N次(N等于方法二中的num_rows) 。而且 , 我们可以在筛选语句上加上“大于”符号 , 还可以避免因为ID好不连续所产生的记录为空的现象 。在MySQL中查询5条不重复的数据 , 使用以下:
SELECT * FROM `table` ORDER BY RAND() LIMIT 5
就可以了 。但是真正测试一下才发现这样效率非常低 。一个15万余条的库 , 查询5条数据 , 居然要8秒以上搜索google , 网上基本上都是查询max(id) * rand()来随机获取数据 。
SELECT * FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2 WHERE t1.id >= t2.id ORDER BY t1.id ASC LIMIT 5;
但是这样会产生连续的5条记录 。解决办法只能是每次查询一条 , 查询5次 。即便如此也值得 , 因为15万条的表 , 查询只需要0.01秒不到 。上面的语句采用的是JOIN , mysql的论坛上有人使用
SELECT * FROM `table` WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` ) ORDER BY id LIMIT 1;
我测试了一下 , 需要0.5秒 , 速度也不错 , 但是跟上面的语句还是有很大差距 。总觉有什么地方不正常 。于是我把语句改写了一下 。
SELECT * FROM `table` WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `table`))) ORDER BY id LIMIT 1;
这下 , 效率又提高了 , 查询时间只有0.01秒最后 , 再把语句完善一下 , 加上MIN(id)的判断 。我在最开始测试的时候 , 就是因为没有加上MIN(id)的判断 , 结果有一半的时间总是查询到表中的前面几行 。
推荐阅读
- Mysql创建用户和权限管理
- 如何让机器更懂你?是时候了解NLP了!
- 巴达山曼迈普洱茶,至简至美的巴达山纯料即将上市
- 如何优雅地使用httprunner测试框架进行接口测试?收藏
- 分布式系统如何寻址
- 我对 MySQL 锁、事务、MVCC 的一些认识
- MySQL 中,21 个写 SQL 的好习惯
- 如何清洗空调,空调清洗方法步骤 空调清洗怎么清洗
- 不同的场合该如何泡茶,如何泡茶
- 玻璃茶具代表作,玻璃茶具欣赏