MySQL 45 讲学习笔记 ☞ 11 怎么给字符串字段加索引? @ Author Name | 2021-07-28T18:47:59+08:00 | 3 分钟阅读

选择更优化的字符串索引,如:建立邮箱字段上合理的索引。如果 email 字段没有索引,则相关查询只能做全表扫描。

前缀索引的相关

MySQL 是支持前缀索引的,也就是说,你可以定义字符串的一部分作为索引。默认地,如果你创建索引的语句不指定前缀长度,那么索引就会包含整个字符串。

比如:

alter table SUser add index index1(email);
alter table SUser add index index2(email(6));   -- 只取前 6 个字节作索引

只取前6的索引,占用的空间会更小,这就是使用前缀索引的优势。但同时,可能会增加额外的记录扫描次数。

假设执行语句:

select id,name,email from SUser where email='zhangssxyz@xxx.com';
  • 如果使用 index1 全字符串索引
    1. 从 index1 索引树找到满足索引值是 zhangssxyz@xxx.com 的这条记录,取得 ID2 的值;
    2. 到主键上查到主键值是 ID2 的行,判断 email 的值是正确的,将这行记录加入结果集;
    3. 取 index1 索引树上刚刚查到的位置的下一条记录,发现已经不满足 email=zhangssxyz@xxx.com 的条件了,循环结束。
  • 如果使用的是 index2 前6字符串索引
    1. 从 index2 索引树找到满足索引值是 zhangs 的记录,找到的第一个是 ID1;
    2. 到主键上查到主键值是 ID1 的行,判断出 email 的值不是 zhangssxyz@xxx.com,这行记录丢弃;
    3. 取 index2 上刚刚查到的位置的下一条记录,发现仍然是 zhangs,取出 ID2,再到 ID 索引上取整行然后判断,这次值对了,将这行记录加入结果集;
    4. 重复上一步,直到在 indxe2 上取到的值不是 zhangs 时,循环结束。

这里又回到了,前缀索引的长度影响了索引的区分度。区分度越高越好,意味着重复的键值越少。

给一个方法:

mysql> select count(distinct email) as L from SUser;  -- 统计有多少个不同值

mysql> select 
  count(distinct left(email,4)as L4,
  count(distinct left(email,5)as L5,
  count(distinct left(email,6)as L6,
  count(distinct left(email,7)as L7,
from SUser;     -- 看不同长度索引的区分度,可以验证损失比例

前缀索引对覆盖索引的影响

假设执行语句:

-- select id,name,email from SUser where email='zhangssxyz@xxx.com';   -- 原语句
select id,email from SUser where email='zhangssxyz@xxx.com';        -- 新语句
  • 如果使用 index1 全字符串索引,覆盖索引了,直接得出 id
  • 如果使用的是 index2 前 6 字符串索引,需要逐个回表到 id 索引判断 email 字段的值。甚至,即使定义了 email(18) 的前缀索引,即使包含了所有信息,但 InnoDB 还是要回到 id 索引再查一下,因为系统并不确定前缀索引的定义是否截断了完整信息。

前缀区分度不高?倒序存储 && hash 字段

第一种方式是使用倒序存储。

查询可以这样写:

mysql> select field_list from t where id_card = reverse('input_id_card_string');

第二种方式是使用 hash 字段。

先在表上创建一个整数字段,来保存身份证的校验码,同时在这个字段上创建索引:

mysql> alter table t add id_card_crc int unsigned, add index(id_card_crc);

然后每次插入新记录的时候,都同时用 crc32() 这个函数得到校验码填到这个新字段。由于校验码可能存在冲突,也就是说两个不同的身份证号通过 crc32() 函数得到的结果可能是相同的,所以你的查询语句 where 部分要判断 id_card 的值是否精确相同:

mysql> select field_list from t where id_card_crc=crc32('input_id_card_string') and id_card='input_id_card_string';

这里的索引长度才 4 字节。

使用倒序存储和使用 hash 字段这两种方法的异同点:

  1. 都不支持范围查询。(只支持等值查询)
  2. 从占用的额外空间来看,倒序存储方式在主键索引上,不会消耗额外的存储空间,而 hash 字段方法需要增加一个字段。(其实长度和相关的额外空间也都差不多)
  3. 在 CPU 消耗方面,倒序方式每次写和读的时候,都需要额外调用一次 reverse 函数,而 hash 字段的方式需要额外调用一次 crc32() 函数。如果只从这两个函数的计算复杂度来看的话,reverse 函数额外消耗的 CPU 资源会更小些。
  4. 从查询效率上看,使用 hash 字段方式的查询性能相对更稳定一些。因为 crc32 算出来的值虽然有冲突的概率,但是概率非常小,可以认为每次查询的平均扫描行数接近 1。而倒序存储方式毕竟还是用的前缀索引的方式,也就是说还是会增加扫描行数。

© 2021 FnEsc Hugo Site

Powered by Hugo with theme Dream.

avatar

FnEsc 的博客一边担心未来,一边浪费现在。

关于我

FnEsc 的 💜 博客

自从 2021.07 开始搭建该 hugo 博客,作为记录一些生活/技术上的小笔记

2020届应届生,毕业与佛山科学技术学院计算机科学与技术专业

目前职业是 全栈开发程序🐶 打杂工具人

作为传统行业外企电商的 965,使我并没有很勤奋卷

不想那么相关工作为 SAP Fiori 应用开发和维护。

目前主要的技术栈是:

  • Python Web 端架构
  • Django / Odoo 开发

接下来可能想学习的方向是:

  • Python 进阶(流畅的 python)
  • MySQL 知识巩固(MySQL 实战 45 讲)
  • Go 开始学习(Go 语言核心 36 讲)
  • 其他架构/算法尝试学习
社交链接