MySQLFabric概述
Oracle在今年5月推出了一套為各方寄予厚望的MySQL產品 -- MySQL Fabric，從字面上不太能看出它是啥，但是從名稱上還是有跡可循的。fabric是“織物”的意思，這意味著它是用來“織”起一片MySQL數據庫。MySQL Fabric是一套數據庫服務器場(Database Server Farm)的架構管理系統。
MySQL Fabric是什麼？
MySQL Fabric能“組織”多個MySQL數據庫，是應用系統將大於幾TB的表分散到多個數據庫，即數據分片(Data Shard)。在同一個分片內又可以含有多個數據庫，並且由Fabric
自動挑選一個適合的作為主數據庫，其他的數據庫配置成從數據庫，來做主從復制。在主數據庫掛掉時，從各個從數據庫中挑選一個提升為主數據庫。之後，其他的從數據庫轉向新的主數據庫復制新的數據。注意：這裡說的“自動”是指由MySQL Fabric在後台完成，而不需要用戶手動更改配置。最重要的是，MySQL Fabric是GPL的開源軟件，也就是在符合GPL的規范下，你可以自由的使用和修改這個軟件。
MySQL Fabric要解決的問題
為什麼做數據分片？當你的應用需要處理的表大於1TB的數據時，Data Shard常常是必須的。這麼大的表，無論在查詢、更新的效率上，或者是備份、更改結構所需要的時間上，都會造成很大的問題。然而當你將這麼大的表分散到多個數據庫服務器上，又會使每一台數據庫服務器都有可能是單個故障點。只要有一台掛掉就會使整個系統的操作發生問題。另一方面，應用端的程序也會因為每個查詢都要依其查詢條件(where子句的內容)分別指向不同的數據庫而變得更加復雜。再者，當數據分片的結構改變時(例如增加一個數據庫)，會使應用端的所有程序都必須修改，從而導致維護變得極為復雜。為了解決應用程序復雜度增加的問題，有人在應用程序和數據庫服務器之間增加一個代理(proxy)或者成為switch，應用程序所有對數據庫的指令先送到proxy，再由proxy判斷要轉到哪個數據庫。下圖就是這個方案的示意圖。這也許可以解決應用程序難以維護的問題，但是當應用端的數量增加，數據庫分片增加，或者系統壓力增加時，這個switch會成為容量及性能的瓶頸和單點故障(當它宕掉時，應用端找不到數據庫)，而且所有的數據庫指令均需要傳兩次(先到switch再到數據庫)。每個查詢都會造成額外的負荷。
MySQL Fabric的架構
MySQL Fabric采用不用的做法，其架構如下圖所示。主要的特點是把switch合並到各應用端的connector中，以解決單一switch的單點故障和性能瓶頸。
MySQL Fabric由三個部分構成：
1.MySQL Fabric管理節點：
是一個python腳本，是整個架構的核心。MySQL Fabric管理節點主要的功能是管理整個數據庫服務器場(Database Server Farm),它啟動時會找/etc/mysql/fabric.cnf這個配置文件，由它指定fabric背後當成存放Server Farm架構和配置之repository的MySQL數據庫位置、端口和連接賬號等信息。Fabric在初始化時(執行mysqlfabric manage setup命令)，會在MySQL數據庫上開一個schema(通常是名稱為fabric的database)，存放Server Farm的配置相關信息，如哪些服務器組由哪些數據庫構成，各服務器組中的主從服務器分別是哪些，等等。MySQL Fabric節點在設置配置時，會對Server Farm中各數據庫下達建立主從復制的命令(上圖的紅色線條)。在正常運行時定期ping各組的主服務器 ，當發現主數據庫沒有正常運行時，它會啟動故障轉移程序，在該server farm的從數據庫中找一個合適的提升為主服務器。其他的從數據庫則轉向新的主數據庫繼續復制數據。
2. 數據庫服務器場(database server farm)
這是整個架構中的工作引擎，在傳統的數據庫應用中這是單一的MySQL數據庫，MySQL Fabric則是以多個數據庫支持大數據量表(TB級以上)和高可用性數據庫的需求。這些數據庫分成幾個高可用組(HA Group)，每個組包含一個以上的數據庫服務器，上圖中最下面的幾個灰色和淺藍色的方塊代表高可用組。如果高可用組中有多個數據庫，MySQL Fabric會挑選(使用命令mysqlfabric group promote命令)一個提升為主數據庫(Master)，其他數據庫則成為從數據庫(Slave)，從數據庫復制主數據庫的變化，完成設定同一高可用組內的主從復制。以後，Fabric會定期件事這個主數據庫。當主數據宕掉之後，Fabric會從高可用組內挑選一個提升為主數據庫，其他的數據庫會轉向這個新的主數據庫繼續復制。另一方面，MySQL Fabric也會只是應用端的conector對這些主從數據庫做讀寫分離，當應用程序對數據庫做讀寫兼有的操作時，connector會將該指令提交給主數據庫。如果應用程序只會對數據庫進行讀操作，且連線的read_only參數設置為“ON”，則所有的查詢均輪流傳送到這幾個數據庫。借助讀寫分離，應用系統的資料處理能力得以增加。此外，如前面所述，MySQL Fabric還能處理需要拆分到多個數據庫服務器的表(sharding tables)，每一個高可用組都可能存放shard table的部分數據。應用端的connector會將對shard table的指令依MySQL Fabric的管理節點的設定送到不同的高可用組，這樣可使數據庫的容量隨著高可用組的數量增加而增長。同時，對非拆分的表所下的指令和所有的DDL會由connector送到全局高可用組(global group)，全局高可用組的主數據庫被MySQL Fabric設置為其他高可用組的主數據庫。所有存拆分表的高可用組的主數據庫復制global group的變化，這麼一來其他高可用組都有一份非拆分表的資料。從而使得SQL中拆分表對非拆分表的JOIN操作變得更簡單。
3. Connector
應用系統在運行時，每個SQL指令都會經由connector發送到數據庫。MySQL Fabric所搭配的connector和一般使用單機的MySQL數據庫一樣，只是在較新版的connector是fabric aware connector多了一些能處理數據庫服務器場(database server farm)的功能。使他們能在建立數據庫連接時，以XML-RPC協議檢查MySQL Fabric的管理節點中server farm的配置，然後通過該連接下的查詢可依fabric的指示送到適合的數據庫。如此一來，常見的database shard方案中可能造成性能瓶頸的proxy放到connector中，從而解決了這個問題。目前MySQL Fabric支持的技術有java、python、PHP，即Connector/J、Connector/Python和Connector/PHP都是Fabric-aware。以java為例，JDBC driver必須是Connector/J 5.1.30以後的版本，Fabric的Java程序和一般對單機MySQL的查詢的Java程序差不多，只是在建立database connection object時database connection URL不是指向數據庫，改為指向MySQL Fabric管理節點(服務器的IP和端口通常是32274)。當查詢的表時全局表(不做table shard)或DDL(例如建表或改表結構)時，建立connection object的要加上''fabricServerGroup="參數，之後通過這個connection object所下的SQL指令會送到Global Group的主數據庫，再由數據庫復制到其他的高可用組(shard)中。如果SQL命令所要操作的表時分區表(shard table)，則建立connection object時要在參數加上''fabricShardTable="參數，之後通過這個connection object所下的SQL命令會根據MySQL Fabric所設定的分表(shard)原則送到各分區(shard)的高可用組。這樣一來，應用程序對這些shard table下的SQL指令時，不需要在SQL中判斷要送到哪個數據庫，完全由connector在建立數據庫連接時向MySQL Fabric所查到的server farm的配置信息(哪個數據庫屬於哪個shard group，各shard table的拆分原則等)所決定。而且這個配置在建立主連接後就緩存在Connector所在的應用端。這樣，在每次下SQL指令時就不需要重復查詢MySQL Fabric管理節點，而依存於應用端的分表配置直接送到正確的數據庫。而應用程序的效率不會因為做了表的拆分而有任何降低。
結語
MySQL Fabric推出正式發行版才兩個多月，已經引起許多重量級MySQL用戶的注意和使用。而Oracle也不吝於加大對它的投資，以加速其功能更加完善。現在已推出一個更新版，在最新版的MySQL Fabric加上了對SSL連接的支持，近期內對Fabric改良的重點將著重於使Fabric對應用程序更加透明化(例如單一SQL對shard table的查詢條件可以跨shard)、支持更多的高可用方案、提供更加有好易用的GUI等。在此建議關心MySQL發展的朋友可以留意這個產品的發展，進一步試用它。將能的意見和心得反映給Oracle，如果您滿意它所提供的功能和穩定性，可以將它加入您的投產系統正式營運，Fabric的開發團隊會很歡迎大家對這個MySQL家族的新成員所做的任何貢獻。本文的目的是介紹MySQL Fabric要解決的問題和Fabric的架構，至於詳細的設定和操作，請容我在下一篇文章中以一個示例和各位分享，敬請期待。
