MySQL如何实现分表优化

网友投稿 322 2023-11-30

MySQL如何实现分表优化

这篇文章将为大家详细讲解有关MySQL如何实现分表优化,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

MySQL如何实现分表优化

这里的分表逻辑是根据t_group表的user_name组的个数来分的。

  因为这种情况单独user_name字段上的索引就属于烂索引。起不了啥名明显的效果。

  1、试验PROCEDURE.

DELIMITER $$

Drop PROCEDURE `t_girl`.`sp_split_table`$$

Create PROCEDURE `t_girl`.`sp_split_table`()

BEGIN

declare done int default 0;

 declare v_user_name varchar(20) default ;

 declare v_table_name varchar(64) default ;

-- Get all users name.

 declare cur1 cursor for select user_name from t_group group by user_name;

-- Deal with error or warnings.

 declare continue handler for 1329 set done = 1;

 -- Open cursor.

 open cur1;

 while done <> 1

do

  fetch cur1 into v_user_name;

  if not done then

   -- Get table name.

set v_table_name = concat(t_group_,v_user_name);

   -- Create new extra table.

   set @stmt = concat(create table ,v_table_name, like t_group);

prepare s1 from @stmt;

   execute s1;

   drop prepare s1;

   -- Load data into it.

set @stmt = concat(insert into ,v_table_name, select * from t_group where user_name = ,v_user_name,);

   prepare s1 from @stmt;

execute s1;

   drop prepare s1;

  end if;

 end while;

 -- Close cursor.

 close cur1;

 -- Free variable from memory.

set @stmt = NULL;

END$$

DELIMITER ;

  2、试验表。

  我们用一个有一千万条记录的表来做测试。

> select count(*) from t_group;

+----------+

| count(*) |

+----------+

| 10388608 |

+----------+

1 row in set (0.00 sec)

  表结构。

mysql> desc t_group;

+-------------+------------------+------+-----+-------------------+----------------+

| Field   | Type      | Null | Key | Default     | Extra     |

+-------------+------------------+------+-----+-------------------+----------------+

| id     | int(10) unsigned | NO | PRI | NULL       | auto_increment |

| money   | decimal(10,2)  | NO |  |         |        |

| user_name | varchar(20)   | NO | MUL |         |        |

| create_time | timestamp    | NO |  | CURRENT_TIMESTAMP |        |

+-------------+------------------+------+-----+-------------------+----------------+

4 rows in set (0.00 sec)

  索引情况。

mysql> show index from t_group;

+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+

|Table | Non_unique | Key_name    | Seq_in_index | Column_name |Collation | Cardinality | Sub_part | Packed | Null | Index_type |Comment |

+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+

|t_group |     0 | PRIMARY     |      1 | id     |A    |  10388608 |  NULL | NULL |   | BTREE  |    |

| t_group |     1 | idx_user_name  |     1 | user_name | A    |     8 |  NULL | NULL |   |BTREE   |    |

| t_group |     1 | idx_combination1|      1 | user_name | A    |     8 |  NULL |NULL |   | BTREE   |    |

| t_group |     1 |idx_combination1 |      2 | money   | A    |    3776|  NULL | NULL |   | BTREE   |    |

+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+

4 rows in set (0.00 sec)

  PS:

idx_combination1 这个索引是必须的,因为要对user_name来GROUP BY。此时属于松散索引扫描!当然完了后你可以干掉她。

  idx_user_name 这个索引是为了加快单独执行constant这种类型的查询。

  我们要根据用户名来分表

mysql> select user_name from t_group where 1 group by user_name;

+-----------+

| user_name |

+-----------+

| david  |

| leo   |

| livia  |

| lucy   |

| sarah  |

| simon  |

| sony   |

| sunny  |

+-----------+

8 rows in set (0.00 sec)

  所以结果表应该是这样的。

mysql> show tables like t_group_%;

+------------------------------+

| Tables_in_t_girl (t_group_%) |

+------------------------------+

| t_group_david        |

| t_group_leo         |

| t_group_livia        |

| t_group_lucy        |

| t_group_sarah        |

| t_group_simon        |

| t_group_sony        |

| t_group_sunny        |

+------------------------------+

8 rows in set (0.00 sec)

  3、对比结果。

mysql> select count(*) from t_group where user_name = david;

+----------+

| count(*) |

+----------+

| 1298576 |

+----------+

1 row in set (1.71 sec)

  执行了将近2秒。

mysql> select count(*) from t_group_david;

+----------+

| count(*) |

+----------+

| 1298576 |

+----------+

1 row in set (0.00 sec)

  几乎是瞬间的。

mysql> select count(*) from t_group where user_name <> david;

+----------+

| count(*) |

+----------+

| 9090032 |

+----------+

1 row in set (9.26 sec)

执行了将近10秒,可以想象,这个是实际的项目中是不能忍受的。

mysql> select (select count(*) from t_group) - (select count(*) from t_group_david) as total;

+---------+

| total |

+---------+

| 9090032 |

+---------+

1 row in set (0.00 sec)

几乎是瞬间的。

  我们来看看聚集函数。

  对于原表的操作。

mysql> select min(money),max(money) from t_group where user_name = david;

+------------+------------+

| min(money) | max(money) |

+------------+------------+

|   -6.41 |  500.59 |

+------------+------------+

1 row in set (0.00 sec)

最小,最大值都是FULL INDEX SCAN。所以是瞬间的。

mysql> select sum(money),avg(money) from t_group where user_name = david;

+--------------+------------+

| sum(money) | avg(money) |

+--------------+------------+

| 319992383.84 | 246.417910 |

+--------------+------------+

1 row in set (2.15 sec)

其他聚集函数的结果就不是FULL INDEX SCAN了。耗时2.15秒。

  对于小表的操作。

mysql> select min(money),max(money) from t_group_david;

+------------+------------+

| min(money) | max(money) |

+------------+------------+

|   -6.41 |  500.59 |

+------------+------------+

1 row in set (1.50 sec)

最大最小值完全是FULL TABLE SCAN,耗时1.50秒,不划算。以此看来。

mysql> select sum(money),avg(money) from t_group_david;

+--------------+------------+

| sum(money) | avg(money) |

+--------------+------------+

| 319992383.84 | 246.417910 |

+--------------+------------+

1 row in set (1.68 sec)

  取得这两个结果也是花了快2秒,快了一点。

  我们来看看这个小表的结构。

mysql> desc t_group_david;

+-------------+------------------+------+-----+-------------------+----------------+

| Field   | Type      | Null | Key | Default     | Extra     |

+-------------+------------------+------+-----+-------------------+----------------+

| id     | int(10) unsigned | NO | PRI | NULL       | auto_increment |

| money   | decimal(10,2)  | NO |  |         |        |

| user_name | varchar(20)   | NO | MUL |         |        |

| create_time | timestamp    | NO |  | CURRENT_TIMESTAMP |        |

+-------------+------------------+------+-----+-------------------+----------------+

4 rows in set (0.00 sec)

明显的user_name属性是多余的。那么就干掉它。

mysql> alter table t_group_david drop user_name;

Query OK, 1298576 rows affected (7.58 sec)

Records: 1298576 Duplicates: 0 Warnings: 0

  现在来重新对小表运行查询

mysql> select min(money),max(money) from t_group_david;

+------------+------------+

| min(money) | max(money) |

+------------+------------+

|   -6.41 |  500.59 |

+------------+------------+

1 row in set (0.00 sec)

  此时是瞬间的。

mysql> select sum(money),avg(money) from t_group_david;

+--------------+------------+

| sum(money) | avg(money) |

+--------------+------------+

| 319992383.84 | 246.417910 |

+--------------+------------+

1 row in set (0.94 sec)

  这次算是控制在一秒以内了。

mysql> Aborted

  总结一下:分出的小表的属性尽量越少越好。

关于“MySQL如何实现分表优化”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:如何修改mysql日志路径
下一篇:MySQL-Proxy有什么用
相关文章

 发表评论

暂时没有评论,来抢沙发吧~