InnoDB支持以下几种索引:
本文将着重介绍B+树索引。其他两个全文索引和哈希索引只是做简单介绍一笔带过。
哈希索引是自适应的,也就是说这个不能人为干预在一张表生成哈希索引,InnoDB会根据这张表的使用情况来自动生成。全文索引是将存在数据库的整本书的任意内容信息查找出来的技术,InnoDB从1.2.x版本支持。每张表只能有一个全文检索的索引。B+树索引是传统意义上的索引,B+树索引并不能根据键值找到具体的行数据,B+树索引只能找到行数据所在的页,然后通过把页读到内存,再在内存中查找到行数据。B+树索引也是最常用的最为频繁使用的索引。
B+树是一种平衡查找树,其实先想想看为什么要用平衡查找树,不用二叉树?普通的二叉树可能因为插入的数据最后变成一个很长的链表,怎么能提高搜索的速度呢?你可以想想,为什么HashMap和ConcurrentHashMap在JDK8的时候,当链表大于8的时候把链表转成红黑树(红黑树也是平衡查找树)。技术思维是想通的,那么答案无非是加快速度,性能咯。
一个B+树有以下特征:
那么我们先来看一个B+树的图
所有的数据都在叶子节点,且每一个叶子节点都带有指向下一个节点的指针,形成了一个有序的链表。为什么要有序呢?其实是为了范围查询。比如说select * from Table where id > 1 and id < 100; 当找到1后,只需顺着节点和指针顺序遍历就可以一次性访问到所有数据节点,极大提到了区间查询效率。是不是范围查询的话hash就搞不定这个事情了?以下为B+树的优势:
一般性情况,数据库的B+树的高度一般在2~4层,这就是说找到某一键值的行记录最多需要2到4次逻辑IO,相当于0.02到0.04s。
聚集索引是按表的主键构造的B+树,叶子节点存放的为整张表的行记录数据,每张表只能有一个聚集索引。优化器更倾向采用聚集索引。因为直接就能获取行数据。
请选择自增id来做主键,不要非空UK列。避免大量分页碎片。下面来看一个聚集索引的图:
? 那么很简单了,每个叶子节点,都存有完整的行记录。对于主键的查找速度那是相当的快,美滋滋。
辅助索引也叫非聚集索引,叶子节点除了键值以外还包含了一个bookmark,用来告诉InnoDB在哪里可以找到对应的行数据,InnoDB的辅助索引的bookmark就是相对应行数据的聚集索引键。也就是先获取指向主键索引的主键,然后通过主键索引来找到一个完整的行。如果辅助索引的树和聚集索引的树的高度都是3,如果不是走主键索引走辅助索引的话,那么需要6次逻辑IO访问得到最终的数据页。辅助索引和聚集索引的概念关系图如下:
基于主键索引和普通索引的查询有什么区别?
设计索引的时候,无论是组合索引还是普通索引等。一般经验是,选择经常被用来过滤记录的字段,高选择性,高区分性。别把性别字段设计索引,性别属于低选择性的。你可以选择名字嘛,你好我大名叫苗嘉杏:)
知道加索引快,但是也别乱加索引,插入以及更新索引的操作InnoDB都会维护B+树的,多加很多索引只会导致效率降低!
不要用重复的索引,比如有个联合索引是a,b,你又整个a列的普通索引。那不是搞事么?
不要在索引上用函数和like
这里我们先假设B+树高为2,即存在一个根节点和若干个叶子节点,那么这棵B+树的存放总记录数为:根节点指针数*单个叶子节点记录行数。假设一行记录的数据大小为1k,那么单个叶子节点(页)中的记录数=16K/1K=16。
那么现在我们需要计算出非叶子节点能存放多少指针,我们假设主键ID为bigint类型,长度为8字节,而指针大小在InnoDB源码中设置为6字节,这样一共14字节,我们一个页中能存放多少这样的单元,其实就代表有多少指针,页大小默认16K,即16kb/14b=1170。那么可以算出一棵高度为2的B+树,大概能存放1170*16=18720条这样的数据记录。
根据同样的原理我们可以算出一个高度为3的B+树大概可以存放:1170*1170*16=21902400行数据。所以在InnoDB中B+树高度一般为1-3层,它就能满足千万级的数据存储。在查找数据时一次页的查找代表一次IO,所以通过主键索引查询通常只需要1-3次逻辑IO操作即可查找到数据。
如何判断一个索引建立的是否好呢?可以用show index from指令查看Cardinality值,这个值是一个预估值,而不是一个准确值。每次对Cardinality值的统计都是随机取8个叶子节点得到的。
对于innodb来说,达到以下2点就会重新计算cardinality
实际应用中,(Cardinality/行数)应该尽量接近1。如果非常小则要考虑是否需要此索引。实战一下,比如有一张表,我们来show index一下
mysql> show index from Order;+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| Order | 0 | PRIMARY | 1 | id | A | 99552 | NULL | NULL | | BTREE | | || Order | 1 | IDX_orderId | 1 | orderId | A | 96697 | NULL | NULL | | BTREE | | || Order | 1 | IDX_productId | 1 | productId | A | 52 | NULL | NULL | | BTREE | | |+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+rows in set (0.00 sec)
那么可以看到IDX_productId这个索引的Cardinality比较低。
需要强制刷新Cardinality值的话可以用:
analyze local table xxx;
alter table T drop index k;alter table T add index(k);
可行:
alter table T engine=InnoDB
不可行:
alter table T drop primary key; alter table T add primary key(id);
ID为主键索引,k为普通索引.
如果执行的语句是 select ID from T where k between 3 and 5,这时只需要查 ID 的 值,而 ID 的值已经在 k 索引树上了,因此可以直接提供查询结果,不需要回表。也就是 说,在这个查询里面,索引 k 已经“覆盖了”我们的查询需求,我们称为覆盖索引。
由于覆盖索引可以减少树的搜索次数,显著提升查询性能,所以使用覆盖索引是一个常用的性能优化手段。
B+ 树这种索引结构,可以利用索引的“最左前缀”,来定位 记录。
(name,age,sex)利用最左前缀可以实现以下的索引(name)(name,age)(name,age,sex))
第一原则是,如果通过调整顺序,可以少维护一个索引,那么这个顺序往往就是需要优先考虑采用的。
第二,考虑的原则就是空间
比如:name 字段是比 age 字段大的 ,那我就建议你创建一个(name,age) 的联合索引和一个 (age) 的单字段 索引。这样比(age,name)(name)占用空间少
联合索引(name, age)为例
mysql> select * from tuser where name like ‘张 %‘ and age=10 and ismale=1;
已经知道了最左前缀索引规则,所以这个语句在搜索索引树的时候,只能用索引name来搜索 “张”,age是没法用的,因为‘zhang%‘查询的是一个范围.
MySQL 5.6 引入的索引下推优化(index condition pushdown), 可以在索引遍历过 程中,对索引中包含的字段先做判断,直接过滤掉不满足条件的记录,减少回表次数。
EXPLAIN SELECT id from mt4order WHERE Account like ‘1‘;
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | range | account索引,account_cmd索引 | account索引 | 768 | NULL | 1 | 100.00 | Using where; Using index |
EXPLAIN SELECT id from mt4order WHERE Account like ‘1%‘;
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | range | account索引,account_cmd索引 | account索引 | 768 | NULL | 1716 | Using where; Using index, |
EXPLAIN SELECT id from mt4order WHERE Account like ‘%1%‘;
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | index | NULL | account索引 | 768 | NULL | 2649814 | 11.11 | Using where; Using index |
EXPLAIN SELECT id from mt4order WHERE Account like ‘%1‘;
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | index | NULL | account索引 | 768 | NULL | 2649814 | 11.11 | Using where; Using index |
对于普通索引来说,查找到满足条件的第一个记录 (5,500) 后,需要查找下一个记录,直到碰到第一个不满足 k=5 条件的记录。
对于唯一索引来说,由于索引定义了唯一性,查找到第一个满足条件的记录后,就会停止继续检索。
这个不同带来的性能差距会有多少呢?答案是,微乎其微。
InnoDB 的数据是按数据页为单位来读写的。也就是说,当需要读一条记录的 时候,并不是将这个记录本身从磁盘读出来,而是以页为单位,将其整体读入内存。在 InnoDB 中,每个数据页的大小默认是 16KB。
所以说,当找到 k=5 的记录的时候,它所在的数据页就都在内存 里了。那么,对于普通索引来说,要多做的那一次“查找和判断下一条记录”的操作,就 只需要一次指针寻找和一次计算。
如果 k=5 这个记录刚好是这个数据页的最后一个记录,那么要取下一个记录,必须 读取下一个数据页,这个操作会稍微复杂一些。但是,我们之前计算过,对于整型字段,一个数据页可以放近千个 key,因此出现这种情 况的概率会很低。
change buffer 用的是 buffer pool 里的内存,因此不能无限增大。
change buffer 的大 小,可以通过参数 innodb_change_buffer_max_size 来动态设置。这个参数设置为 50 的时候,表示 change buffer 的大小最多只能占用 buffer pool 的 50%。
假设: 当前 k 索引树的状态,查找到位置后,k1 所在的数据页在内存 (InnoDB buffer pool) 中,k2 所在的数据页不在内存中
在上面表的前提下执行下面语句: mysql> insert into t(id,k) values(id1,k1),(id2,k2);
分析这条更新语句,你会发现它涉及了四个部分:内存、redo log(ib_log_fileX)、 数据表空间(t.ibd)、系统表空间(ibdata1)。
这条更新语句做了如下的操作(按照图中的数字顺序):
做完上面这些,事务就可以完成了。
所以,你会看到,执行这条更新语句的成本很低,就是写了两处内存,然后写了一处磁盘(两次操作合在一起写了一次磁盘,redo log),而且还是顺序写的。
同时,图中的两个虚线箭头,是后台操作,不影响更新的响应时间。
如果读语句发生在更新语句后不久,内存中的数据都还在,那么此时的这两个读操作就与 系统表空间(ibdata1)和 redo log(ib_log_fileX)无关了。所以,我在图中就没画出 这两部分。
要执行 select * from t where k in (k1, k2)
读 Page 1 的时候,直接从内存返回。有几位同学在前面文章的评论中问到,WAL 之后 如果读数据,是不是一定要读盘,是不是一定要从 redo log 里面把数据更新以后才可以返回?其实是不用的。你可以看一下图 3 的这个状态,虽然磁盘上还是之前的数据, 但是这里直接从内存返回结果,结果是正确的。
要读 Page 2 的时候,需要把 Page 2 从磁盘读入内存中,然后应用 change buffer 里 面的操作日志,生成一个正确的版本并返回结果。
可以看到,直到需要读 Page 2 的时候,这个数据页才会被读入内存。
你现在维护一个支持邮箱登录的系统,用户表是这么定义的:
mysql> create table SUser( ID bigint unsigned primary key, email varchar(64), ... )engine=innodb;
由于要使用邮箱登录,所以业务代码中一定会出现类似于这样的语句:
mysql> select f1, f2 from SUser where email='xxx';
分别创建两种索引
mysql> alter table SUser add index index1(email); 或mysql> alter table SUser add index index2(email(6));第一个语句创建的 index1 索引里面,包含了每个记录的整个字符串;而第二个语句创建 的 index2 索引里面,对于每个记录都是只取前 6 个字节。占用的空间会更小,这就是使用前缀索引的优势
加入执行下面的sql语句,两种索引该如何执行
select id,name,email from SUser where email='zhangssxyz@xxx.com';
完整索引
对比结果
我们在建立索引时关注的是区分度,区分度越高越好。因为区分度越高,意味着重复的键值越少。
依次选取不同长度的前缀来看这个值,比如我们要看一下 4~7 个字节的前缀索引, 可以用这个语句:
mysql> select count(distinct left(email,4))as L4, count(distinct left(email,5))as L5, count(distinct left(email,6))as L6, count(distinct left(email,7))as L7,from SUser;
使用前缀索引很可能会损失区分度,所以你需要预先设定一个可以接受的损失比 例,比如 5%。然后,在返回的 L4~L7 中,找出不小于 L * 95% 的值,假设这里 L6、L7 都满足,你就可以选择前缀长度为 6。
select id,email from SUser where email=‘zhangssxyz@xxx.com‘;
如果使用 index1(即 email 整个字符串的索引结构)的话,可以利用覆盖索引, 从 index1 查到结果后直接就返回了,不需要回到 ID 索引再去查一次。而如果使用 index2(即 email(6) 索引结构)的话,就不得不回到 ID 索引再去判断 email 字段的值。
即使你将 index2 的定义修改为 email(18) 的前缀索引,这时候虽然 index2 已经包含了 所有的信息,但 InnoDB 还是要回到 id 索引再查一下,因为系统并不确定前缀索引的定义 是否截断了完整信息。
比如,我们国家的身份证号,一共 18 位,其中前 6 位是地址码,所以同一个县的人的身 份证号前 6 位一般会是相同的。假设你维护的数据库是一个市的公民信息系统,这时候如果对身份证号做长度为 6 的前缀 索引的话,这个索引的区分度就非常低了。
如果你存储身份证号的时候把它倒过来存,每次查询的时 候,你可以这么写:
mysql> select field_list from t where id_card = reverse('input_id_card_string');
由于身份证号的最后 6 位没有地址码这样的重复逻辑,所以最后这 6 位很可能就提供了足 够的区分度。当然了,实践中你不要忘记使用 count(distinct) 方法去做个验证。
可以在表上再创建一个整数字段,来保存身份证的校验 码,同时在这个字段上创建索引。
mysql> alter table t add id_card_crc int unsigned, add index(id_card_crc);
然后每次插入新记录的时候,都同时用 crc32() 这个函数得到校验码填到这个新字段。
由于校验码可能存在冲突,也就是说两个不同的身份证号通过 crc32() 函数得到的结果可能是相同的,所以你的查询语句 where 部分要判断 id_card 的值是否精确相同。
mysql> select field_list from t where id_card_crc=crc32('input_id_card_string') and id_card='****'
这样,索引的长度变成了 4 个字节,比原来小了很多。
相同点
不同点
从占用的额外空间来看,倒序存储方式在主键索引上,不会消耗额外的存储空间,而 hash 字段方法需要增加一个字段。当然,倒序存储方式使用 4 个字节的前缀长度应该 是不够的,如果再长一点,这个消耗跟额外这个 hash 字段也差不多抵消了。
在 CPU 消耗方面,倒序方式每次写和读的时候,都需要额外调用一次 reverse 函数, 而 hash 字段的方式需要额外调用一次 crc32() 函数。如果只从这两个函数的计算复杂 度来看的话,reverse 函数额外消耗的 CPU 资源会更小些。
从查询效率上看,使用 hash 字段方式的查询性能相对更稳定一些。因为 crc32 算出来 的值虽然有冲突的概率,但是概率非常小,可以认为每次查询的平均扫描行数接近 1。 而倒序存储方式毕竟还是用的前缀索引的方式,也就是说还是会增加扫描行数。
应该使用某个索引的时候,但是却使用了别的索引或者没有使用索引
一种方法是,采用 force index 强行选择一个索引。
# a是索引select * from t force index(a) where a between 10000 and 20000;
第二种方法就是,我们可以考虑 修改语句,引导 MySQL 使用我们期望的索引。
第三种方法是,在有些场景下,我们可以新建一个更合适的索引,来提供给优化器做选择,或删掉误用的索引。
假设你现在维护了一个交易系统,其中交易记录表 tradelog 包含交易流水号 (tradeid)、交易员 id(operator)、交易时间(t_modified)等字段。为了便于描 述,我们先忽略其他字段。这个表的建表语句如下:
CREATE TABLE
tradelog
(
id
int(11) NOT NULL,
tradeid
varchar(32) DEFAULT NULL,
operator
int(11) DEFAULT NULL,
t_modified
datetime DEFAULT NULL,PRIMARY KEY (
id
),KEY
tradeid
(tradeid
),
KEYt_modified
(t_modified
))ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
假设,现在已经记录了从 2016 年初到 2018 年底的所有数据,运营部门有一个需求是, 要统计发生在所有年份中 7 月份的交易记录总数。这个逻辑看上去并不复杂,你的 SQL 语句可能会这么写:
mysql> select count(*) from tradelog where month(t_modified)=7;
由于 t_modified 字段上有索引,于是你就很放心地在生产库中执行了这条语句,但却发现执行了特别久,才返回了结果。
如果你问 DBA 同事为什么会出现这样的情况,他大概会告诉你:如果对字段做了函数计 算,就用不上索引了,这是 MySQL 的规定。
现在你已经学过了 InnoDB 的索引结构了,可以再追问一句为什么?为什么条件是 where t_modified=‘2018-7-1’的时候可以用上索引,而改成 where month(t_modified)=7 的时候就不行了?
下面是这个 t_modified 索引的示意图。方框上面的数字就是 month() 函数对应的值。
如果你的 SQL 语句条件用的是 where t_modified=‘2018-7-1’的话,引擎就会按照上面 绿色箭头的路线,快速定位到 t_modified=‘2018-7-1’需要的结果。
实际上,B+ 树提供的这个快速定位能力,来源于同一层兄弟节点的有序性。
但是,如果计算 month() 函数的话,你会看到传入 7 的时候,在树的第一层就不知道该怎 么办了。
在这个例子里,放弃了树搜索功能,优化器可以选择遍历主键索引,也可以选择遍历索引 t_modified,优化器对比索引大小后发现,索引 t_modified 更小,遍历这个索引比遍历 主键索引来得更快。因此最终还是会选择索引 t_modified。
接下来,我们使用 explain 命令,查看一下这条 SQL 语句的执行结果。
key="t_modified"表示的是,使用了 t_modified 这个索引;我在测试表数据中插入了 10 万行数据,rows=100335,说明这条语句扫描了整个索引的所有值;Extra 字段的 Using index,表示的是使用了覆盖索引。
由于在 t_modified 字段加了 month() 函数操作,导致了全索引扫描。为了能 够用上索引的快速定位能力,我们就要把 SQL 语句改成基于字段本身的范围查询。按照下 面这个写法,优化器就能按照我们预期的,用上 t_modified 索引的快速定位能力了。
select count(*) from tradelog where
(t_modified >= ‘2016-7-1‘ and t_modified<‘2016-8-1‘) or
(t_modified >= ‘2017-7-1‘ and t_modified<‘2017-8-1‘) or
(t_modified >= ‘2018-7-1‘ and t_modified<‘2018-8-1‘);
当然,如果你的系统上线时间更早,或者后面又插入了之后年份的数据的话,你就需要再把其他年份补齐。
到这里我给你说明了,由于加了 month() 函数操作,MySQL 无法再使用索引快速定位功 能,而只能使用全索引扫描。
不过优化器在个问题上确实有“偷懒”行为,即使是对于不改变有序性的函数,也不会考虑使用索引。比如,对于 select * from tradelog where id + 1 = 10000 这个 SQL 语 句,这个加 1 操作并不会改变有序性,但是 MySQL 优化器还是不能用 id 索引快速定位 到 9999 这一行。所以,需要你在写 SQL 语句的时候,手动改写成 where id = 10000 -1 才可以。
我们一起看一下这条 SQL 语句:
mysql> select * from tradelog where tradeid=110717;
交易编号 tradeid 这个字段上,本来就有索引,但是 explain 的结果却显示,这条语句需 要走全表扫描。你可能也发现了,tradeid 的字段类型是 varchar(32),而输入的参数却是 整型,所以需要做类型转换。
那么,现在这里就有两个问题:
先来看第一个问题,你可能会说,数据库里面类型这么多,这种数据类型转换规则更多,
我记不住,应该怎么办呢?
这里有一个简单的方法,看 select “10” > 9 的结果:
- 如果规则是“将字符串转成数字”,那么就是做数字比较,结果应该是 1;
- 如果规则是“将数字转成字符串”,那么就是做字符串比较,结果应该是 0。
验证结果如图 3 所示。
从图中可知,select “10” > 9 返回的是 1,所以你就能确认 MySQL 里的转换规则了: 在 MySQL 中,字符串和数字做比较的话,是将字符串转换成数字。
这时,你再看这个全表扫描的语句:
mysql> select * from tradelog where tradeid=110717;
就知道对于优化器来说,这个语句相当于:
mysql> select * from tradelog where CAST(tradid AS signed int) = 110717;
假设系统里还有另外一个表 trade_detail,用于记录交易的操作细节。为了便于量化分析和复现,我往交易日志表 tradelog 和交易详情表 trade_detail 这两个表里插入一些数 据。
mysql> CREATE TABLE
trade_detail
(
id
int(11) NOT NULL,
tradeid
varchar(32) DEFAULT NULL,
trade step
int(11) DEFAULT NULL, /* 操作步骤 */
step_info
varchar(32) DEFAULT NULL, /* 步骤信息 */PRIMARY KEY (
id
),KEY
tradeid
(tradeid
)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
insert into tradelog values(1, ‘aaaaaaaa‘, 1000, now());
insert into tradelog values(2, ‘aaaaaaab‘, 1000, now());
insert into tradelog values(3, ‘aaaaaaac‘, 1000, now());
insert into trade_detail values(1, ‘aaaaaaaa‘, 1, ‘add‘);
insert into trade_detail values(2, ‘aaaaaaaa‘, 2, ‘update‘);
insert into trade_detail values(3, ‘aaaaaaaa‘, 3, ‘commit‘);
insert into trade_detail values(4, ‘aaaaaaab‘, 1, ‘add‘);
insert into trade_detail values(5, ‘aaaaaaab‘, 2, ‘update‘);
insert into trade_detail values(6, ‘aaaaaaab‘, 3, ‘update again‘);
insert into trade_detail values(7, ‘aaaaaaab‘, 4, ‘commit‘);
insert into trade_detail values(8, ‘aaaaaaac‘, 1, ‘add‘);
insert into trade_detail values(9, ‘aaaaaaac‘, 2, ‘update‘);
insert into trade_detail values(10, ‘aaaaaaac‘, 3, ‘update again‘);
insert into trade_detail values(11, ‘aaaaaaac‘, 4, ‘commit‘);
这时候,如果要查询 id=2 的交易的所有操作步骤信息,SQL 语句可以这么写:
mysql> select d.* from tradelog l, trade_detail d where d.tradeid=l.tradeid and l.id=2;
我们一起来看下这个结果:
在这个执行计划里,是从 tradelog 表中取 tradeid 字段,再去 trade_detail 表里查询匹 配字段。因此,我们把 tradelog 称为驱动表,把 trade_detail 称为被驱动表,把 tradeid 称为关联字段。
接下来,我们看下这个 explain 结果表示的执行流程:
图中得执行流程:
进行到这里,你会发现第 3 步不符合我们的预期。因为表 trade_detail 里 tradeid 字段上 是有索引的,我们本来是希望通过使用 tradeid 索引能够快速定位到等值的行。但,这里 并没有。
如果你去问 DBA 同学,他们可能会告诉你,因为这两个表的字符集不同,一个是 utf8, 一个是 utf8mb4,所以做表连接查询的时候用不上关联字段的索引。这个回答,也是通常 你搜索这个问题时会得到的答案。
但是你应该再追问一下,为什么字符集不同就用不上索引呢? 我们说问题是出在执行步骤的第 3 步,如果单独把这一步改成 SQL 语句的话,那就是:
mysql> select * from trade_detail where tradeid=$L2.tradeid.value;
其中,$L2.tradeid.value 的字符集是 utf8mb4。
参照前面的两个例子,你肯定就想到了,字符集 utf8mb4 是 utf8 的超集,所以当这两个 类型的字符串在做比较的时候,MySQL 内部的操作是,先把 utf8 字符串转成 utf8mb4 字符集,再做比较。
这个设定很好理解,utf8mb4 是 utf8 的超集。类似地,在程序设计语言里 面,做自动类型转换的时候,为了避免数据在转换过程中由于截断导致数据 错误,也都是“按数据长度增加的方向”进行转换的。
因此, 在执行上面这个语句的时候,需要将被驱动数据表里的字段一个个地转换成 utf8mb4,再跟 L2 做比较。
也就是说,实际上这个语句等同于下面这个写法:
select * from trade_detail where CONVERT(traideid USING utf8mb4)=$L2.tradeid.value;
CONVERT() 函数,在这里的意思是把输入的字符串转成 utf8mb4 字符集。
作为对比验证,我给你提另外一个需求,“查找 trade_detail 表里 id=4 的操作,对应的 操作者是谁”,再来看下这个语句和它的执行计划。
mysql>select l.operator from tradelog l , trade_detail d where d.tradeid=l.tradeid and d.id=4;
这个语句里 trade_detail 表成了驱动表,但是 explain 结果的第二行显示,这次的查询操 作用上了被驱动表 tradelog 里的索引 (tradeid),扫描行数是 1。
这也是两个 tradeid 字段的 join 操作,为什么这次能用上被驱动表的 tradeid 索引呢?我 们来分析一下。
假设驱动表 trade_detail 里 id=4 的行记为 R4,那么在连接的时候(图 5 的第 3 步), 被驱动表 tradelog 上执行的就是类似这样的 SQL 语句:
select operator from tradelog where traideid =$R4.tradeid.value;
这时候 $R4.tradeid.value 的字符集是 utf8, 按照字符集转换规则,要转成 utf8mb4,所 以这个过程就被改写成:
select operator from tradelog where traideid =CONVERT($R4.tradeid.value USING utf8mb4);
你看,这里的 CONVERT 函数是加在输入参数上的,这样就可以用上被驱动表的 traideid 索引。
优化语句的方法:
select d.* from tradelog l, trade_detail d where d.tradeid=l.tradeid and l.id=2;
比较常见的优化方法是,把 trade_detail 表上的 tradeid 字段的字符集也改成 utf8mb4,这样就没有字符集转换的问题了。
alter table trade_detail modify tradeid varchar(32) CHARACTER SET utf8mb4 default null;
修改 SQL 语句的方法
mysql> select d.* from tradelog l , trade_detail d where d.tradeid=CONVERT(l.tradeid USING utf8) and d.id=2;
我主动把 l.tradeid 转成 utf8,就避免了被驱动表上的字符编码转换,从 explain
结果可以看到,这次索引走对了。
https://time.geekbang.org/column/intro/100020801
https://www.cnblogs.com/lonelyxmas/p/10668426.html