江苏龙网

  1. 主页 > 生活百科 > >

10万条数据批量插入，到底怎么做才快？( 二 )

数据


接下来写一个简单的测试接口看下：
@RestControllerpublic class HelloController {private static final Logger logger = getLogger(HelloController.class);@AutowiredUserService userService;/*** 一条一条插入*/@GetMapping("/user2")public void user2() {List<User> users = new ArrayList<>();for (int i = 0; i < 50000; i++) {User u = new User();u.setAddress("广州：" + i);u.setUsername("张三：" + i);u.setPassword("123：" + i);users.add(u);}userService.addUserOneByOne(users);}}写个简单的单元测试：
/** ** 单元测试加事务的目的是为了插入之后自动回滚，避免影响下一次测试结果 * 一条一条插入 */@Test@Transactionalvoid addUserOneByOne() {List<User> users = new ArrayList<>();for (int i = 0; i < 50000; i++) {User u = new User();u.setAddress("广州：" + i);u.setUsername("张三：" + i);u.setPassword("123：" + i);users.add(u);}userService.addUserOneByOne(users);}可以看到，耗时 901 毫秒，5w 条数据插入不到 1 秒 。
2.2 方案二测试方案二是生成一条 SQL 然后插入 。
mapper 如下：
@Mapperpublic interface UserMapper {void addByOneSQL(@Param("users") List<User> users);}对应的 SQL 如下：
<insert id="addByOneSQL">insert into user (username,address,password) values<foreach collection="users" item="user" separator=",">(#{user.username},#{user.address},#{user.password})</foreach></insert>service 如下：
@Servicepublic class UserService extends ServiceImpl<UserMapper, User> implements IUserService {private static final Logger logger = LoggerFactory.getLogger(UserService.class);@AutowiredUserMapper userMapper;@AutowiredSqlSessionFactory sqlSessionFactory;@Transactional(rollbackFor = Exception.class)public void addByOneSQL(List<User> users) {long startTime = System.currentTimeMillis();userMapper.addByOneSQL(users);long endTime = System.currentTimeMillis();logger.info("合并成一条 SQL 插入耗费时间 {}", (endTime - startTime));}}然后在单元测试中调一下这个方法：
/** * 合并成一条 SQL 插入 */@Test@Transactionalvoid addByOneSQL() {List<User> users = new ArrayList<>();for (int i = 0; i < 50000; i++) {User u = new User();u.setAddress("广州：" + i);u.setUsername("张三：" + i);u.setPassword("123：" + i);users.add(u);}userService.addByOneSQL(users);}可以看到插入 5 万条数据耗时 1805 毫秒 。
可以看到，生成一条 SQL 的执行效率还是要差一点 。
另外还需要注意，第二种方案还有一个问题，就是当数据量大的时候，生成的 SQL 将特别的长，MySQL 可能一次性处理不了这么大的 SQL，这个时候就需要修改 MySQL 的配置或者对待插入的数据进行分片处理了，这些操作又会导致插入时间更长 。
2.3 对比分析很明显，方案一更具优势 。当批量插入十万、二十万数据的时候，方案一的优势会更加明显（方案二则需要修改 MySQL 配置或者对待插入数据进行分片） 。
3. MP 怎么做的？小伙伴们知道，其实 MyBatis Plus 里边也有一个批量插入的方法 saveBatch，我们来看看它的实现源码：
@Transactional(rollbackFor = Exception.class)@Overridepublic boolean saveBatch(Collection<T> entityList, int batchSize) {String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);return executeBatch(entityList, batchSize, (sqlSession, entity) -> sqlSession.insert(sqlStatement, entity));}可以看到，这里拿到的 sqlStatement 就是一个 INSERT_ONE ，即一条一条插入 。
再来看 executeBatch 方法，如下：
public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) {Assert.isFalse(batchSize < 1, "batchSize must not be less than one");return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, sqlSession -> {int size = list.size();int i = 1;for (E element : list) {consumer.accept(sqlSession, element);if ((i % batchSize == 0) || i == size) {sqlSession.flushStatements();}i++;}});}这里注意 return 中的第三个参数，是一个 lambda 表达式，这也是 MP 中批量插入的核心逻辑，可以看到，MP 先对数据进行分片（默认分片大小是 1000），分片完成之后，也是一条一条的插入 。继续查看 executeBatch 方法，就会发现这里的 sqlSession 其实也是一个批处理的 sqlSession，并非普通的 sqlSession 。
综上，MP 中的批量插入方案给我们 2.1 小节的批量插入思路其实是一样的 。
4. 小结好啦，经过上面的分析，现在小伙伴们知道了批量插入该怎么做了吧？


推荐阅读


上一篇：如何保证API接口安全？

下一篇：系统运行shell命令时，忘记nohup了，怎么办？