我们在MySQL实战之事务隔离:为什么你改了我还看不见讲过事务隔离级别的时候提到过,如果是可重复读隔离级别,事务T启动的时候会创建一个视图read-view,之后事务T执行期间,即使有其他事务修改了数据,事务T看到的仍然跟在启动时看到一样。也就是说,一个在可重复读隔离级别下执行的事务,好像与世无争,不受外界影响。
但是我们在MySQL实战之行锁功过:怎么减少行锁对性能的影响?分享行锁的时候又提到,一个事务要更新一行,如果刚好有另外一个事务拥有这一行的行锁,它又不能这么超然了,会被锁住,进入等待状态。问题是,既然进入了等待状态,那么等这个事务自己获取到行锁要更新数据的时候,它读到的值又是什么呢?
我们来看一个例子,
mysql> CREATE TABLE `t` (
`id` int(11) NOT NULL,
`k` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB;
insert into t(id, k) values(1,1),(2,2);
这里,我们需要注意的是事务的启动时机
begin/start transaction命令并不是一个事务的起点,在执行到他们之后第一个操作InnoDB表的语句,事务才真正启动。如果你想要马上启动一个事务,可以使用start transaction with consistent snapshot这个命令。
在这个例子中,事务C没有显示的使用begin/commit,表示这个update语句本身就是一个事务,语句完成的时候会自动提交。事务B在更新了行之后查询;事务A在一个只读事务中查询,并且时间顺序是在事务B的查询之后。
这时,如果我告诉你事务B查到的k值是3,而事务A查到的k值是1,你是不是感觉是有点晕呢?
所以,本篇文章,主要就是说明白这个问题,希望借由把这个疑惑解开的过程,能够帮助你对InnoDB的事务和锁有更进一步的理解。
在MySQL中,有两个视图的概念:
他没有物理结构,作用是事务执行期间用来定义”我能看到什么数据“。
在MySQL实战之事务隔离:为什么你改了我还看不见中,我们讲过了MVCC的实现逻辑。今天为了说明查询和更新的区别,我们换一个方式来说明,把read view拆开。你可以结合这两篇的说明来更深一步的理解MVCC。
在可重复读隔离级别下,事务在启动的时候就拍了个快照。注意,这个快照是基于整库的。
这是,你会说这看上去不太现实啊,如果一个库有100G,那么我启动事务,MySQL就要拷贝100G的数据出来,这个过程的多慢呀。可是,我平时的事务执行起来很快呀。
实际上,我们并不需要拷贝100G的数据。我们先来看看这个快照读是怎么实现的。
InnoDB里面每个事务有一个唯一的事务ID,叫做transaction id。它是事务开始的时候向InnoDB的事务系统申请的,是按照申请顺序严格递增的。
而每行数据也都是有多个版本的。每次事务更新数据的时候,都会生成一个新的数据版本,并且把transaction id赋值给这个数据版本的事务ID,即为row trx_id..同时,旧的数据版本要保留,并且在新的数据版本中,能够有信息可以直接拿到它。
也就是说,数据库中的一行记录,其实可能有多个版本,每个版本由自己的row trx_id.
如下图所示,就是一个记录被多个事务连续更新后的状态。
图中虚线框里是同一行数据的4个版本,当前最新版本是V4,k的值是22,它是被transaction id为25的事务更新的,因此它的row trx_id也是25.
你可能会问,前面的文章不是说,语句更新会生成undo log(回滚日志)吗?那么,undo log在哪呢?
实际上,上图中,三个虚线箭头,就是undo log;而V1、V2、V3并不是物理上真实存在的,而是每次需要的时候根据当前版本和undo log计算出来的。比如:需要V2的时候,就是通过V4依次执行U3、U2算出来。
明白了多版本和row trx_id的概念后,我们再来想一下,InnoDB是怎么定义那个100G的快照的。
按照可重复读的定义,一个事务启动的时候,能够看到所有已经提交的事务结果但是之后,这个事务执行期间,其他事务的更新对它不可见。
因此,一个事务只需要在启动的时候声明说,以我启动的时刻为准,如果一个数据版本是在我启动之前生成的,就认;如果是我启动以后生成的,我就不认,我必须要找到它的上一个版本。
当然,如果上一个版本也不可见,那就继续往前找。还有,如果这个事务自己更新的数据,还是要认的。
在实际上,InnoDB为每个事务构造了一个数组,用来保存这个事务启动瞬间,当前正在活跃的所有事务ID,活跃指的是,启动了但未提交。
数组里面事务ID的最小值为低水位,当前系统里面已经创建过的事务ID的最大值+1记为高水位。
这个视图数组和高水位,就组成当前事务的一致性视图。
而数据版本的可见性规则,就是基于数据row trx_id和这个一致性视图的对比结果得到的。
这个视图数组所有的rox trx_id分成了以下几种情况
这样,对于当前事务的启动瞬间来说,一个数据版本的rox trx_id,有以下几种可能
比如,对于图2中的数据来说,如果有一个事务,它的低水位是18,那么当访问这一行数据时,就会从V4通过U3计算出V3,所以在它看来,这一行的只是11.
你看,有了这个声明后,系统里面随后发生的更新,是不是就跟这个事务看到的内容无关了呢?因为之后的更新,生成的版本一定属于上面2或者3(a)的情况,而对它来说,这些新的数据版本是不存在的,所以这个事务的快照,就是静态的了。
所以你现在知道了,InnoDB利用了所有数据都有多个版本的特性,实现了秒级创建快照的能力。
接下来,我们继续看一下图1中的三个事务,分析下事务A的语句返回的结果,为什么是k=1.
这里我们不妨做一个假设:
这样,事务A的视图数组就是99, 100,事务B的视图数组是99,100,101,事务C的视图数组是99,100,101,102。
为了简化分析,我先把其他的干扰语句去掉,只画出跟事务A查询逻辑相关的操作:
从图中可以看到,第一个有效更新的是事务C,把数据从(1,1)改成了(1,2)。这时候,这个数据的最新版本rox trx_id是102,而90这个版本已经成为历史版本。
第二个有效更新是事务B,把数据从(1,2)改成了(1,3)。这时候,这个数据的最新版本rox trx_id是101,而102又成为了历史版本。
你可能注意到了,在事务A查询的时候,其实事务B还没有提交,但是它生成的(1,3)这个版本已经变成当前版本了。但这个版本对事务A必须是不可见的,否则就变成了脏读了。
好,现在事务A来读取数据了,它的视图是99,100。当然了,读数据都是从当前版本读起的。所以,事务A查询语句读数据的流程是这样的:
这样执行下来,虽然期间这一行数据被修改过,但是事务A不论在什么时候查询,看到这行数据的结果都是一致的,所以我们称之为一致性读。
这个判断规则是从代码逻辑直接转译过来的,但是正如你所见,用于人肉分析可见性很麻烦。
所以,我来给你翻译一下。一个数据版本,对于一个事务视图来说,除了自己的更新总是可见外,有三种情况:
现在我们用这个规则来判断图4中的查询结果,事务A的查询语句的视图数组是在事务A启动的时候生成的,这时候:
你看,去掉数字对比后,只用时间的先后顺序来判断,分析起来是不是轻松多了,所以,后面我们就用这个规则来分析。
细心的同学可能有疑问了:事务B的update语句,如果按照一致性读,好像结果不对哦?
你看图5 中,事务B的视图数组是先生成的,之后事务C才提交的,不是应该看不见(1,2)吗,怎么能算出(1,3)来?
是的,如果事务B在更新之前查询一次数据,这个查询返回的k确实是1.
但是,当它要去更新数据的时候,就不能在历史版本上更新了,否则事务C的更新就丢失了。因此,事务B此时的set k=k+1是在(1,2)的基础上进行的操作。
所以,这里就用了这样一条规则:更新数据都是先读后写的,而这个读,只能读当前值,成为当前读。
因此,在更新的时候,当前读拿到的数据是(1,2),更新后生成了新版本数据(1,3),这个新版本的rox trx_id是101.
所以,在执行事务B查询语句的时候,一看自己的版本号是101,最新数据的版本号也是101,是自己的更新,可以直接使用,所以查询得到的k值是3.
这里我们提到了一个概念,叫做当前读。其实,处理update语句外,select语句如果加锁,也是当前读。
所以,如果把事务A的查询语句select * from t where id = 1修改一下,加上lock in share mode或for update,也都可以读到版本号是101的数据,返回k=3.下面这两个select,就是分别加了读锁(S锁,共享锁)和写锁(X锁,排他锁).
mysql> select k from t where id=1 lock in share mode;
mysql> select k from t where id=1 for update;
再往前一步,假设事务C不是马上提交的,而是变成下面的事务C‘,会怎么样呢?
事务C'的不同是,更新后并没有马上提交,在它提交前,事务B的更新语句先发起了。前面说过了,虽然事务C'还没提交,但是(1,2)这个版本已经生成了,并且是当前的最新版本。那么,事务B的更新语句会怎么处理呢?
这时候,我们在上一篇文章中提到的“两阶段锁协议”就要上场了。事务C’没提交,也就是说(1,2)这个版本上的写锁还没释放。而事务B是当前读,必须要读取最新版本,而且必须要加锁,因此就被锁住了,必须等到事务C‘释放这个锁,才能继续它的当前读
到这里,我们把一致性读、当前读、和行锁就串起来了。
现在,我们在回到文章的开头的问题:事务的可重复读的能力是怎么实现的?
可重复读的核心就是一致性读;而事务更新数据的时候,只能用当前读。如果当前的记录的行锁被其他事务占用的话,就需要进入锁等待。
而读提交的逻辑和可重复读的逻辑类似,他们最主要的区别是:
那么,我们再看一下,在读提交隔离级别下,事务A和事务B的查询语句查到的k,分别是多少呢?
这里需要说明一下,start transaction with consistent snapshot;的意思是从这个语句开始,创建一个持续整个事务的一致性快照。所以在读提交隔离级别下,这个用法就没意义了,等效于 start transaction。
下面是读提交的状态图,可以看到这两个查询的创建视图数组的时机发生了变化,就是图中的read view框
这时,事务A的查询语句的视图数组是在执行这个语句的时候创建的,时序上(1,2)、(1,3)的生成时间都在创建这个视图数组的时刻之前,但是,在这个时刻:
所以,这时候事务A查询语句返回的是k=2;事务B查询结果是k=3;
InnoDB的行数据有多个版本,每个数据版本由自己的row trx_id,每个事务或者语句有自己的一致性视图。普通查询语句是一致性读,一致性读会根据row trx_id和一致性视图确定数据版本的可见性。
而当前读,总是读取已经提交完成的最新版本。
你也可以想一下,为什么表结构不支持“可重复读”?这是因为表结构没有对应的行数据,也没有 row trx_id,因此只能遵循当前读的逻辑。
当然,MySQL 8.0 已经可以把表结构放在 InnoDB 字典里了,也许以后会支持表结构的可重复读。