日志是MySQL数据库的重要组成部分,记录着数据库运行期间各种状态信息 。mysql日志主要包括错误日志、查询日志、慢查询日志、事务日志、二进制日志几大类 。作为开发,我们重点需要关注的是二进制日志(binlog)和事务日志(包括redo log和undo log),本文接下来会详细介绍这三种日志 。
binlogbinlog用于记录数据库执行的写入性操作(不包括查询)信息,以二进制的形式保存在磁盘中 。binlog是mysql的逻辑日志,并且由Server层进行记录,使用任何存储引擎的mysql数据库都会记录binlog日志 。
逻辑日志:可以简单理解为记录的就是sql语句 。
物理日志:因为mysql数据最终是保存在数据页中的,物理日志记录的就是数据页变更 。binlog是通过追加的方式进行写入的,可以通过max_binlog_size参数设置每个binlog文件的大小,当文件大小达到给定值之后,会生成新的文件来保存日志 。
binlog使用场景在实际应用中,binlog的主要使用场景有两个,分别是主从复制和数据恢复 。
- 主从复制:在Master端开启binlog,然后将binlog发送到各个Slave端,Slave端重放binlog从而达到主从数据一致 。
- 数据恢复:通过使用mysqlbinlog工具来恢复数据 。
- 0:不去强制要求,由系统自行判断何时写入磁盘;
- 1:每次commit的时候都要将binlog写入磁盘;
- N:每N个事务,才会将binlog写入磁盘 。
binlog日志格式binlog日志有三种格式,分别为STATMENT、ROW和MIXED 。
在 MySQL 5.7.7之前,默认的格式是STATEMENT,MySQL 5.7.7之后,默认值是ROW 。日志格式通过binlog-format指定 。
- STATMENT 基于SQL语句的复制(statement-based replication, SBR),每一条会修改数据的sql语句会记录到binlog中 。优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO, 从而提高了性能; 缺点:在某些情况下会导致主从数据不一致,比如执行sysdate()、slepp()等 。
- ROW 基于行的复制(row-based replication, RBR),不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了 。优点:不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题; 缺点:会产生大量的日志,尤其是alter table的时候会让日志暴涨
- MIXED 基于STATMENT和ROW两种模式的混合复制(mixed-based replication, MBR),一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog
- 因为Innodb是以页为单位进行磁盘交互的,而一个事务很可能只修改一个数据页里面的几个字节,这个时候将完整的数据页刷到磁盘的话,太浪费资源了!
- 一个事务可能涉及修改多个数据页,并且这些数据页在物理上并不连续,使用随机IO写入性能太差!
redo log基本概念redo log包括两部分:一个是内存中的日志缓冲(redo log buffer),另一个是磁盘上的日志文件(redo log file) 。mysql每执行一条DML语句,先将记录写入redo log buffer,后续某个时间点再一次性将多个操作记录写到redo log file 。这种先写日志,再写磁盘的技术就是MySQL里经常说到的WAL(Write-Ahead Logging) 技术 。
在计算机操作系统中,用户空间(user space)下的缓冲区数据一般情况下是无法直接写入磁盘的,中间必须经过操作系统内核空间(kernel space)缓冲区(OS Buffer) 。因此,redo log buffer写入redo log file实际上是先写入OS Buffer,然后再通过系统调用fsync()将其刷到redo log file中,过程如下:
推荐阅读
- 揭秘阿里巴巴的客群画像
- 小程序的api是什么
- 面向对象编程OOP的基本概念
- 三国演义中的陆逊是个咋样的人呢
- 康熙八皇子胤禩是怎么死的?
- 我是如何部署日活几十万的单体应用服务的?
- 金屋藏娇的故事是哪一位皇帝有关
- 古代的当铺相当于现在的什么
- Linux操作系统:文件的逻辑组织
- 使用 PDF Mix Tool 执行常见的 PDF 编辑任务