江苏龙网

  1. 主页 > 生活百科 > >

分页查询出现数据重复或丢失，你遇到过吗？

数据重复

如果是 App 端的查询，不建议设计多字段排序，因为在多字段排序的环境下，服务端在进行多条件的过滤查询时，可能会把有效的数据给过滤掉，如果无法避开，尽量将多个排序字段合并到一个排序字段上，保证数据的查询符合预期 。?一、问题背景最近部分销售人员反馈在 APP 上查询自己名下客户订单数据时，当往下拉取数据的时候，列表上经常出现重复的订单数据，经过排查，后端代码是通过如下方式来实现数据的分页查询的 。
limit offset, size order by create_time desc经过细致的分析，这种排序方式，在 app 端分页查询的时候，确实存在问题 。
【分页查询出现数据重复或丢失，你遇到过吗？】详细的分析过程如下！
二、原因分析首先我们初始化一张表，用于模拟订单表查询 。
CREATE TABLE `tb_order` (`order_id` bigint(11) unsigned NOT NULL,`create_time` datetime DEFAULT NULL,PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;然后初始化 5 条数据进去，方便数据分析
INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (1, '2023-03-03 12:00:01');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (2, '2023-03-03 12:00:02');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (3, '2023-03-03 12:00:03');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (4, '2023-03-03 12:00:04');INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (5, '2023-03-03 12:00:05');假设我们每次只查询 2 条数据，并且按照时间倒序来查询，结果如下：
-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |create_time||5|2023-03-03 12:00:05||4|2023-03-03 12:00:04|-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |create_time||3|2023-03-03 12:00:03||2|2023-03-03 12:00:02|当订单数据没有发生变动的时候，这种查询方式是不会造成出现重复的数据问题 。
但是当订单数据发生了变动，比如在查询的时候，突然新增了订单数据，此时的查询结果就完全不一样了 。
还是以上面为例，假设在第一次查询的时候，突然新增了一条数据，看看结果如何 。
-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |create_time||5|2023-03-03 12:00:05||4|2023-03-03 12:00:04|-- 新增一条订单数据INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (6, '2023-03-03 12:00:06');-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |create_time||4|2023-03-03 12:00:04||3|2023-03-03 12:00:03|可以很明显的发现，订单ID=4的数据，出现在页面上两次，正常情况下只有一次！

分页查询出现数据重复或丢失，你遇到过吗？

文章插图
上面说到的是新增一条数据，假设删除某条数据，看看结果如何 。
-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |create_time||5|2023-03-03 12:00:05||4|2023-03-03 12:00:04|-- 删除一条订单数据delete from tb_order where order_id = 4;-- 发起第二页查询select * from tb_order order by create_time desc limit 2,2;-- 第二页查询结果|order_id |create_time||2|2023-03-03 12:00:02||1|2023-03-03 12:00:01|可以很明显的发现，删除订单ID=4的数据之后，页面查询结果直接到订单ID=2了，直接跳过订单ID=3了，也就是说订单ID=3的数据展示，丢失了！
分页查询出现数据重复或丢失，你遇到过吗？

文章插图
总结下来，结论如下！
  • 当新增某条数据之后，通过常规的分页查询，列表会出现数据重复的现象；
  • 当删除某条数据之后，通过常规的分页查询，列表会出现数据丢失的现象；
那怎么解决以上的问题呢？办法如下！
三、解决方案针对上面所说的分页查询方式，我们需要做一些调整，调整办法如下：
  • 第一步：当查询出当页的数据之后，记录下本次拉取的最后一条数据的排序字段值；当发起下一页数据查询的时候，带上这个参数，服务端通过这个参数做过滤条件
  • 第二步：排序字段值不能出现重复
以上面的新增为例，详细的实践过程如下：
-- 发起第一页查询select * from tb_order order by create_time desc limit 0,2;-- 第一页查询结果|order_id |create_time||5|2023-03-03 12:00:05||4|2023-03-03 12:00:04|-- 新增一条订单数据INSERT INTO `tb_order` (`order_id`, `create_time`) VALUES (6, '2023-03-03 12:00:06');-- 发起第二页查询，带上第一页查询的最后一条数据的排序字段值select * from tb_order where create_time < '2023-03-03 12:00:04' order by create_time desc limit 0,2;-- 第二页查询结果|order_id |create_time||3|2023-03-03 12:00:03||2|2023-03-03 12:00:02|


推荐阅读


上一篇：图解Redis，谈谈Redis的持久化，RDB快照与AOF日志

下一篇：使用Golang构建一万+每秒处理请求的高性能系统