Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475
1）什么是唯一索引？

• 不允许具有索引值相同的行，比如身份证唯一的

案例：假设你在维护一个市民系统，每个人都有一个唯一的身份证号，而且业务代码已经保证了不会写入两个重复的身份证号。如果市民系统需要按照身份证号查姓名，那该如何建索引？

 select name from CUser where id\_card = 'xxxxxxxyyyyyyzzzzz';

2)为什么说不建议把身份证号当做主键？

• 身份证号字段比较大

3)对上面的语句建索引我们该怎么建？

• 业务代码已经保证了不会写入重复的身份证号，索引给 id_card 字段创建唯一索引，或者创建一个普通索引。

4）从性能的角度考虑，应该选择唯一索引还是普通索引呢？

• 看下面的分析

案例：从这两种索引对查询语句和更新语句的性能影响来进行分析

4.1)select id from T where k=5在索引树上查找的过程在怎样的？

• 先通过 B+ 树从树根开始，按层搜索到叶子节点，图中右下角的这个数据页，然后在数据页内部（数组）通过二分法来定位记录。

4.1.1）如果K是普通索引，那什么时候停止查找？

• 找到满足条件的第一个记录 (5,500) 后，需要查找下一个记录，直到碰到第一个不满足 k=5 条件的记录。

4.1.2）如果K是唯一索引，那什么时候停止查找？

• 由于索引定义了唯一性，找到第一个满足的就停止，不再往后找。

4.1.3）4.1.1和4.1.2这个不同带来的性能差距会有多少呢？

• 基本没有

4.1.4）为什么4.1.1和4.1.2几乎没有差距？

• InnoDB 读数据不是一条一条从磁盘读到内存的，是一页一页读出来的，K=5和它的下一条都在这一页，所以普通索引多做的那次查找不费力。

4.1.5）InnoDB 中，每个数据页的大小默认是多少？

• 16KB

看完了对查询的影响，接下来我们来看看普通索引和唯一索引对更新语句性能的影响

4.2）什么是change buffer？

• 要更新一个数据页时，如果数据页在内存中就直接更新。
• 数据页不在内存中的话，在不影响数据一致性的前提下InnoDB 会将这些更新操作丢到 change buffer 中，这样就不需要从磁盘中读入这个数据页了。等下次有人查询的时候把数据页读到内存中了。那就顺道更新了。

4.2.1）change buffer只是存在于内存中吗？

• 内存中有副本，磁盘中也有。

4.2.2）将change buffer 中的操作应用到原数据页这个过程叫什么？

• merge

4.2.3）merge在哪些时刻会发生？

• 访问这个要更新的数据页会触发 merge
• 系统有后台线程会定期 merge
• 据库正常关闭（shutdown）的过程中，也会执行 merge。

4.2.4）change buffer的优点有哪些？

• 减少读磁盘，语句的执行速度会得到明显的提升。
• 数据读入内存会占用 buffer pool，这种方式还能够避免占用内存，提高内存利用率。

4.2.5）什么条件下可以使用 change buffer 呢？

• 对于唯一索引来说，所有的更新操作都要先判断这个操作是否违反唯一性约束。比如，要插入 (4,400) 这个记录，就要先判断现在表中是否已经存在 k=4 的记录，而这必须要将数据页读入内存才能判断。如果都已经读入到内存了，那直接更新内存会更快，就没必要使用 change buffer 了。
• 所以唯一索引不能用change buffer，只有普通索引才能用。

4.2.6）change buffer的大小是多少？

• 它是 buffer pool 里的内存，因此不能无限增大。
• 通过参数 innodb_change_buffer_max_size可以设置大小。
• 设置为 50 的时候，表示 change buffer 的大小最多只能占用 buffer pool 的 50%。

4.3）如果要在上面那张表中插入一个新记录 (4,400) 的话，InnoDB 的处理流程是怎样的？

• 目标页刚好在内存：

  • 对唯一索引来说，找到 3 和 5 之间的位置，判断到没有冲突，插入这个值，语句执行结束；
  • 对于普通索引来说，找到 3 和 5 之间的位置，插入这个值，语句执行结束。

• 目标页不在内存中：

  • 对于唯一索引来说，需要将数据页读入内存，判断到没有冲突，插入这个值，语句执行结束；
  • 对于普通索引来说，则是将更新记录在 change buffer，语句执行就结束了。

4.4）通过上面的分析，你知道更新的时候该选择唯一索引还是普通索引了吗？为什么？

• 将数据从磁盘读入内存涉及随机 IO 的访问，是数据库里面成本最高的操作之一。change buffer 因为减少了随机磁盘访问，所以对更新性能的提升是会很明显的。

4.5）因为唯一索引和普通索引的差距造成过哪些实际bug?

• 有个 DBA 的同学跟我反馈说，他负责的某个业务的库内存命中率突然从 99% 降低到了 75%，整个系统处于阻塞状态，更新语句全部堵住。而探究其原因后，我发现这个业务有大量插入数据的操作，而他在前一天把其中的某个普通索引改成了唯一索引。

4.6)普通索引的所有场景，使用 change buffer 都可以起到加速作用吗？

• 因为change buffer在merge之前把我们的更新语句缓存下来了，那么在merge之前，缓存的更新语句越多越好。
• 对于写多读少的业务来说，页面在写完以后马上被访问到的概率比较小，此时 change buffer 的使用效果最好。这种业务模型常见的就是账单类、日志类的系统。
• 假设一个业务的更新模式是写入之后马上会做查询，那么即使满足了条件，将更新先记录在 change buffer，但之后由于马上要访问这个数据页，会立即触发 merge 过程。这样随机访问 IO 的次数不会减少，反而增加了 change buffer 的维护代价。所以，对于这种业务模式来说，change buffer 反而起到了副作用。

5）经过上面的学习，普通索引和唯一索引应该怎么选择？

• 它两查询没啥差别，但是更新的话还是普通索引更胜一筹，所以我们尽量选择普通索引。

6）如果所有的更新后面，都马上伴随着对这个记录的查询，那我们应该做哪些操作？

• 关闭 change buffer

7）前面我们说过redo log，那change buffer 和 redo log的区别是什么？

• redo log 节省的是我们语句从内存写入磁盘中的IO消耗
• change buffer 节省的是我们数据从磁盘读到内存的消耗

分析过程：

我们往数据库插入两条记录

  insert into t(id,k) values(id1,k1),(id2,k2);

假如k1 所在的数据页在内存 (InnoDB buffer pool) 中

k2 所在的数据页不在内存中

这条更新语句做了如下的操作（按照图中的数字顺序）：

1. Page 1 在内存中，直接更新内存；
2. Page 2 没有在内存中，就在内存的 change buffer 区域，记录下“我要往 Page 2 插入一行”这个信息
3. 将上述两个动作记入 redo log 中（图中 3 和 4）。

8）通过上图 你可以看到，change buffer 一开始是写内存的，那么如果这个时候机器掉电重启，会不会导致 change buffer 丢失呢？change buffer 丢失可不是小事儿，再从磁盘读入数据可就没有了 merge 过程，就等于是数据丢失了。会不会出现这种情况呢？

• 不会导致change buffer丢失。因为在更改change buffer 时也会写redo log，也需要持久化

转载请注明：xuhss » 普通索引和唯一索引，应该怎么选择？