零，什麼是數據庫分區
來說一下什麼是數據庫分區，以mysql為例。mysql數據庫中的數據是以文件的形勢存在磁盤上的，默認放在/mysql/data下面（可以通過my.cnf中的datadir來查看），一張表主要對應著三個文件，一個是frm存放表結構的，一個是myd存放表數據的，一個是myi存表索引的。如果一張表的數據量太大的話，那麼myd,myi就會變的很大，查找數據就會變的很慢，這個時候我們可以利用mysql的分區功能，在物理上將這一張表對應的三個文件，分割成許多個小塊，這樣呢，我們查找一條數據時，就不用全部查找了，只要知道這條數據在哪一塊，然後在那一塊找就行了。如果表的數據太大，可能一個磁盤放不下，這個時候，我們可以把數據分配到不同的磁盤裡面去。
一，橫向分區
什麼是橫向分區呢？就是橫著來分區了，舉例來說明一下，假如有100W條數據，分成十份，前10W條數據放到第一個分區，第二個10W條數據放到第二個分區，依此類推。也就是把表分成了十分，根用merge來分表，有點像哦。取出一條數據的時候，這條數據包含了表結構中的所有字段，也就是說橫向分區，並沒有改變表的結構。
ALTER TABLE `yl_hospital_url` PARTITION BY RANGE(ID) ( PARTITION `p0` VALUES LESS THAN (100000) , PARTITION `p1` VALUES LESS THAN (200000) , PARTITION `p2` VALUES LESS THAN (300000) , PARTITION `p3` VALUES LESS THAN (400000) , PARTITION `p4` VALUES LESS THAN (500000) , PARTITION `p5` VALUES LESS THAN (600000) , PARTITION `p6` VALUES LESS THAN (700000) , PARTITION `p6` VALUES LESS THAN (700000) , PARTITION `p7` VALUES LESS THAN (MAXVALUE) ) ;
分區前查詢速度
分區前查詢速度
二，mysql的分區
我覺著吧，mysql的分區只有一種方式，只不過運用不同的算法，規則將數據分配到不同的區塊中而已。
1，mysql5.1及以上支持分區功能
安裝安裝的時候，我們就可以查看一下
[root@BlackGhost mysql-5.1.50]# ./configure --help |grep -A 3 Partition === Partition Support === Plugin Name: partition Description: MySQL Partitioning Support Supports build: static Configurations: max, max-no-ndb
查看一下，如果發現有上面這個東西，說明他是支持分區的，默認是打開的。如果你已經安裝過了mysql的話
mysql> show variables like "%part%"; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | have_partitioning | YES | +-------------------+-------+ 1 row in set (0.00 sec)
查看一下變量，如果支持的話，會有上面的提示的。
2，range分區
按照RANGE分區的表是通過如下一種方式進行分區的，每個分區包含那些分區表達式的值位於一個給定的連續區間內的行
創建range分區表
mysql> CREATE TABLE IF NOT EXISTS `user` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0為男，1為女', -> PRIMARY KEY (`id`) -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY RANGE (id) ( -> PARTITION p0 VALUES LESS THAN (3), -> PARTITION p1 VALUES LESS THAN (6), -> PARTITION p2 VALUES LESS THAN (9), -> PARTITION p3 VALUES LESS THAN (12), -> PARTITION p4 VALUES LESS THAN MAXVALUE -> ); Query OK, 0 rows affected (0.13 sec)
插入一些數據
mysql> INSERT INTO `test`.`user` (`name` ,`sex`)VALUES ('tank', '0')
-> ,('zhang',1),('ying',1),('張',1),('映',0),('test1',1),('tank2',1)
-> ,('tank1',1),('test2',1),('test3',1),('test4',1),('test5',1),('tank3',1)
-> ,('tank4',1),('tank5',1),('tank6',1),('tank7',1),('tank8',1),('tank9',1)
-> ,('tank10',1),('tank11',1),('tank12',1),('tank13',1),('tank21',1),('tank42',1);
Query OK, 25 rows affected (0.05 sec)
Records: 25 Duplicates: 0 Warnings: 0
到存放數據庫表文件的地方看一下，my.cnf裡面有配置，datadir後面就是
[root@BlackGhost test]# ls |grep user |xargs du -sh 4.0K user#P#p0.MYD 4.0K user#P#p0.MYI 4.0K user#P#p1.MYD 4.0K user#P#p1.MYI 4.0K user#P#p2.MYD 4.0K user#P#p2.MYI 4.0K user#P#p3.MYD 4.0K user#P#p3.MYI 4.0K user#P#p4.MYD 4.0K user#P#p4.MYI 12K user.frm 4.0K user.par
取出數據
mysql> select count(id) as count from user; +-------+ | count | +-------+ | 25 | +-------+ 1 row in set (0.00 sec)
刪除第四個分區
mysql> alter table user drop partition p4; Query OK, 0 rows affected (0.11 sec) Records: 0 Duplicates: 0 Warnings: 0
/**存放在分區裡面的數據丟失了，第四個分區裡面有14條數據，剩下的3個分區 只有11條數據，但是統計出來的文件大小都是4.0K，從這兒我們可以看出分區的 最小區塊是4K */ mysql> select count(id) as count from user; +-------+ | count | +-------+ | 11 | +-------+ 1 row in set (0.00 sec)
第四個區塊已刪除
[root@BlackGhost test]# ls |grep user |xargs du -sh 4.0K user#P#p0.MYD 4.0K user#P#p0.MYI 4.0K user#P#p1.MYD 4.0K user#P#p1.MYI 4.0K user#P#p2.MYD 4.0K user#P#p2.MYI 4.0K user#P#p3.MYD 4.0K user#P#p3.MYI 12K user.frm 4.0K user.par
/*可以對現有表進行分區,並且會按規則自動的將表中的數據分配相應的分區 中，這樣就比較好了，可以省去很多事情，看下面的操作*/ mysql> alter table aa partition by RANGE(id) -> (PARTITION p1 VALUES less than (1), -> PARTITION p2 VALUES less than (5), -> PARTITION p3 VALUES less than MAXVALUE); Query OK, 15 rows affected (0.21 sec) //對15數據進行分區 Records: 15 Duplicates: 0 Warnings: 0
總共有15條
mysql> select count(*) from aa; +----------+ | count(*) | +----------+ | 15 | +----------+ 1 row in set (0.00 sec)
刪除一個分區
mysql> alter table aa drop partition p2; Query OK, 0 rows affected (0.30 sec) Records: 0 Duplicates: 0 Warnings: 0
只有11條了，說明對現有的表分區成功了
mysql> select count(*) from aa; +----------+ | count(*) | +----------+ | 11 | +----------+ 1 row in set (0.00 sec)
3，list分區
LIST分區中每個分區的定義和選擇是基於某列的值從屬於一個值列表集中的一個值，而RANGE分 區是從屬於一個連續區間值的集合。
//這種方式失敗 mysql> CREATE TABLE IF NOT EXISTS `list_part` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID', -> `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0為男，1為女', -> PRIMARY KEY (`id`) -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY LIST (province_id) ( -> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8), -> PARTITION p1 VALUES IN (9,10,11,12,16,21), -> PARTITION p2 VALUES IN (13,14,15,19), -> PARTITION p3 VALUES IN (17,18,20,22,23,24) -> ); ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function
//這種方式成功 mysql> CREATE TABLE IF NOT EXISTS `list_part` ( -> `id` int(11) NOT NULL COMMENT '用戶ID', -> `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0為男，1為女' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY LIST (province_id) ( -> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8), -> PARTITION p1 VALUES IN (9,10,11,12,16,21), -> PARTITION p2 VALUES IN (13,14,15,19), -> PARTITION p3 VALUES IN (17,18,20,22,23,24) -> ); Query OK, 0 rows affected (0.33 sec)
上面的這個創建list分區時，如果有主銉的話，分區時主鍵必須在其中，不然就會報錯。如果我不用主鍵，分區就創建成功了，一般情況下，一個張表肯定會有一個主鍵，這算是一個分區的局限性吧。
如果對數據進行測試，請參考range分區的測試來操作
4，hash分區
HASH分區主要用來確保數據在預先確定數目的分區中平均分布，你所要做的只是基於將要被哈希的列值指定一個列值或表達式，以 及指定被分區的表將要被分割成的分區數量。
mysql> CREATE TABLE IF NOT EXISTS `hash_part` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '評論ID', -> `comment` varchar(1000) NOT NULL DEFAULT '' COMMENT '評論', -> `ip` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP', -> PRIMARY KEY (`id`) -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY HASH(id) -> PARTITIONS 3; Query OK, 0 rows affected (0.06 sec)
測試請參考range分區的操作
5，key分區
按照KEY進行分區類似於按照HASH分區，除了HASH分區使用的用戶定義的表達式，而KEY分區的 哈希函數是由MySQL 服務器提供。
mysql> CREATE TABLE IF NOT EXISTS `key_part` ( -> `news_id` int(11) NOT NULL COMMENT '新聞ID', -> `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容', -> `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP', -> `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時間' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY LINEAR HASH(YEAR(create_time)) -> PARTITIONS 3; Query OK, 0 rows affected (0.07 sec)
測試請參考range分區的操作
6，子分區
子分區是分區表中每個分區的再次分割，子分區既可以使用HASH希分區，也可以使用KEY分區。這 也被稱為復合分區（composite partitioning ）。
1，如果一個分區中創建了子分區，其他分區也要有子分區
2，如果創建了了分區，每個分區中的子分區數必有相同
3，同一分區內的子分區，名字不相同，不同分區內的子分區名子可以相同（5.1.50不適用）
mysql> CREATE TABLE IF NOT EXISTS `sub_part` ( -> `news_id` int(11) NOT NULL COMMENT '新聞ID', -> `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容', -> `u_id` int(11) NOT NULL DEFAULT 0s COMMENT '來源IP', -> `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時間' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY RANGE(YEAR(create_time)) -> SUBPARTITION BY HASH(TO_DAYS(create_time))( -> PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2), -> PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good), -> PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3) -> ); Query OK, 0 rows affected (0.07 sec)
官方網站說不同分區內的子分區可以有相同的名字，但是mysql5.1.50卻不行會提示以下錯誤
ERROR 1517 (HY000): Duplicate partition name s1
7，Columns分區
Columns分區是在MySQL 5.5引入的分區類型，引入Columns分區解決了MySQL 5.5版本之前RANGE分區和LIST分區只支持整數分區，從而導致需要額外的函數計算得到整數或者通過額外的轉換表來轉換為整數再分區的問題。 Columns分區可以細分為RANGE Columns分區和LIST Columns分區，RANGE Columns分區和LIST Columns分區都支持整數、日期時間、字符串三大數據類型。
應用場景：
商品銷售的日報表，年報表等
每天分一張表,表名用年月日每張表分24個分區，每個小時的數據分1個區.
CREATE TABLE `year_log` (
`id` int(11) DEFAULT NULL,
`money` int(11) unsigned NOT NULL,
`date` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE (year(date))
(
PARTITION p2007 VALUES LESS THAN (2008),
PARTITION p2008 VALUES LESS THAN (2009),
PARTITION p2009 VALUES LESS THAN MAXVALUE
);
CREATE TABLE `daily_log` (
`id` int(11) NOT NULL,
`sid` char(36) NOT NULL,
`sname` char(20) DEFAULT NULL,
`date` datetime NOT NULL,
PRIMARY KEY (`id`,`date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE COLUMNS(`date`)
(PARTITION p1 VALUES LESS THAN ('2000-01-02'),
PARTITION p2 VALUES LESS THAN ('2000-01-03'),
PARTITION p3 VALUES LESS THAN ('2000-01-04'),
PARTITION p4 VALUES LESS THAN ('2000-01-05'),
PARTITION p5 VALUES LESS THAN ('2000-01-06'),
PARTITION p6 VALUES LESS THAN ('2000-01-07'),
PARTITION p7 VALUES LESS THAN ('2000-01-08'),
PARTITION p367 VALUES LESS THAN (MAXVALUE));
三，分區管理
1，刪除分區
mysql> alter table user drop partition p4;
2，新增分區
range添加新分區 mysql> alter table user add partition(partition p4 values less than MAXVALUE); Query OK, 0 rows affected (0.06 sec) Records: 0 Duplicates: 0 Warnings: 0
list添加新分區
mysql> alter table list_part add partition(partition p4 values in (25,26,28));
Query OK, 0 rows affected (0.01 sec)
Records: 0 Duplicates: 0 Warnings: 0
hash重新分區
mysql> alter table hash_part add partition partitions 4; Query OK, 0 rows affected (0.12 sec) Records: 0 Duplicates: 0 Warnings: 0
key重新分區
mysql> alter table key_part add partition partitions 4; Query OK, 1 row affected (0.06 sec) //有數據也會被重新分配 Records: 1 Duplicates: 0 Warnings: 0
子分區添加新分區，雖然我沒有指定子分區，但是系統會給子分區命名的
mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE); Query OK, 0 rows affected (0.02 sec) Records: 0 Duplicates: 0 Warnings: 0
mysql> show create table sub1_part\G; *************************** 1. row *************************** Table: sub1_part Create Table: CREATE TABLE `sub1_part` ( `news_id` int(11) NOT NULL COMMENT '新聞ID', `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內容', `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP', `create_time` date NOT NULL DEFAULT '0000-00-00' COMMENT '時間' ) ENGINE=InnoDB DEFAULT CHARSET=utf8 !50100 PARTITION BY RANGE (YEAR(create_time)) SUBPARTITION BY HASH (TO_DAYS(create_time)) (PARTITION p0 VALUES LESS THAN (1990) (SUBPARTITION s0 ENGINE = InnoDB, SUBPARTITION s1 ENGINE = InnoDB, SUBPARTITION s2 ENGINE = InnoDB), PARTITION p1 VALUES LESS THAN (2000) (SUBPARTITION s3 ENGINE = InnoDB, SUBPARTITION s4 ENGINE = InnoDB, SUBPARTITION good ENGINE = InnoDB), PARTITION p2 VALUES LESS THAN (3000) (SUBPARTITION tank0 ENGINE = InnoDB, SUBPARTITION tank1 ENGINE = InnoDB, SUBPARTITION tank3 ENGINE = InnoDB), PARTITION p3 VALUES LESS THAN MAXVALUE (SUBPARTITION p3sp0 ENGINE = InnoDB, //子分區的名子是自動生成的 SUBPARTITION p3sp1 ENGINE = InnoDB, SUBPARTITION p3sp2 ENGINE = InnoDB)) 1 row in set (0.00 sec)
3，重新分區
range重新分區
mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE); Query OK, 11 rows affected (0.08 sec) Records: 11 Duplicates: 0 Warnings: 0
list重新分區
mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5)); Query OK, 0 rows affected (0.28 sec) Records: 0 Duplicates: 0 Warnings: 0
hash和key分區不能用REORGANIZE，官方網站說的很清楚
mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9; ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PARTITION 9' at line 1
四，分區優點
1，分區可以分在多個磁盤，存儲更大一點
2，根據查找條件，也就是where後面的條件，查找只查找相應的分區不用全部查找了
3，進行大數據搜索時可以進行並行處理。
4，跨多個磁盤來分散數據查詢，來獲得更大的查詢吞吐量
MySQL分表、分區的區別和聯系
一，什麼是MySQL分表，分區
什麼是分表，從表面意思上看呢，就是把一張表分成N多個小表
什麼是分區，分區呢就是把一張表的數據分成N多個區塊，這些區塊可以在同一個磁盤上，也可以在不同的磁盤上，具體請參考mysql分區功能詳細介紹，以及實例
二，mysql分表和分區有什麼區別呢
1，實現方式上
a），mysql的分表是真正的分表，一張表分成很多表後，每一個小表都是完正的一張表，都對應三個文件，一個.MYD數據文件，.MYI索引文件，.frm表結構文件。
[root@BlackGhost test]# ls |grep user alluser.MRG alluser.frm user1.MYD user1.MYI user1.frm user2.MYD user2.MYI user2.frm
簡單說明一下，上面的分表呢是利用了merge存儲引擎（分表的一種），alluser是總表，下面有二個分表，user1，user2。他們二個都是獨 立的表，取數據的時候，我們可以通過總表來取。這裡總表是沒有.MYD,.MYI這二個文件的，也就是說，總表他不是一張表，沒有數據，數據都放在分表裡 面。我們來看看.MRG到底是什麼東西
[root@BlackGhost test]# cat alluser.MRG |more user1 user2 #INSERT_METHOD=LAST
從上面我們可以看出，alluser.MRG裡面就存了一些分表的關系，以及插入數據的方式。可以把總表理解成一個外殼，或者是聯接池。
b），分區不一樣，一張大表進行分區後，他還是一張表，不會變成二張表，但是他存放數據的區塊變多了。
[root@BlackGhost test]# ls |grep aa aa#P#p1.MYD aa#P#p1.MYI aa#P#p3.MYD aa#P#p3.MYI aa.frm aa.par
從上面我們可以看出，aa這張表，分為二個區，p1和p3，本來是三個區，被我刪了一個區。我們都知道一張表對應三個文件.MYD,.MYI,.frm。分區呢根據一定的規則把數據文件和索引文件進行了分割，還多出了一個.par文件，打開.par文件後你可以看出他記錄了，這張表的分區信息，根分表中的.MRG有點像。分區後，還是一張，而不是多張表。
2，數據處理上
a），分表後，數據都是存放在分表裡，總表只是一個外殼，存取數據發生在一個一個的分表裡面。看下面的例子：
select * from alluser where id='12'表面上看，是對表alluser進行操作的，其實不是的。是對alluser裡面的分表進行了操作。
b），分區呢，不存在分表的概念，分區只不過把存放數據的文件分成了許多小塊，分區後的表呢，還是一張表。數據處理還是由自己來完成。
3，提高性能上
a）分表後，單表的並發能力提高了，磁盤I/O性能也提高了。並發能力為什麼提高了呢，因為查尋一次所花的時間變短了，如果出現高並發的話，總表可以根據不同的查詢，將並發壓力分到不同的小表裡面。磁盤I/O性能怎麼搞高了呢，本來一個非常大的.MYD文件現在也分攤到各個小表的.MYD中去了。
b）mysql提出了分區的概念，我覺得就想突破磁盤I/O瓶頸，想提高磁盤的讀寫能力，來增加mysql性能。eg:百萬行的表劃分為10個分區，每個分區就包含十萬行數據，那麼查詢分區需要的時間僅僅是全表掃描的十分之一了，很明顯的對比。同 時對十萬行的表建立索引的速度也會比百萬行的快得多得多。如果你能把這些分區建立在不同的磁盤上，這時候的I/O讀寫速度就“不堪設想”了（沒用錯詞，真的 太快了，理論上100倍的速度提升啊，這是多麼快的響應速度啊，所以有點不堪設想了）
在這一點上，分區和分表的測重點不同，分表重點是存取數據時，如何提高mysql並發能力上；而分區呢，如何突破磁盤的讀寫能力，從而達到提高mysql性能的目的。
4），實現的難易度上
a），分表的方法有很多，用merge來分表，是最簡單的一種方式。這種方式根分區難易度差不多，並且對程序代碼來說可以做到透明的。如果是用其他分表方式就比分區麻煩了。
b），分區實現是比較簡單的，建立分區表，根建平常的表沒什麼區別，並且對開代碼端來說是透明的。
三，mysql分表和分區有什麼聯系呢
1，都能提高mysql的性高，在高並發狀態下都有一個良好的表面。
2，分表和分區不矛盾，可以相互配合的，對於那些大訪問量，並且表數據比較多的表，我們可以采取分表和分區結合的方式（如果merge這種分表方式，不能和分區配合的話，可以用其他的分表試），訪問量不大，但是表數據很多的表，我們可以采取分區的方式等。
