MySQL讀寫分離是在主從復制的基礎上進一步通過在master上執行寫操作,在slave上執行讀操作來實現的。通過主從復制,master上的數據改動能夠同步到slave上,從而保持了數據的一致性。實現數據的讀寫分離能帶來的好處有:
增加物理服務器,提升機器處理能力,也就是拿硬件換性能。
主從只負責各自的讀和寫,極大程度緩解X鎖和S鎖爭用。
slave可以配置myIasm引擎,提升查詢性能以及節約系統開銷。
master直接寫是並發的,slave通過主庫發送來的binlog恢復數據是異步。
slave可以單獨設置一些參數來提升其讀的性能。
增加冗余,提高可用性。
常見的實現數據庫讀寫分離的方案大致有兩種:應用層,代理層
在應用層也就是在代碼中進行操作,通過對數據庫操作類型的不同手動指定數據源,可以通過AOP的方式進行實現,不過對於一個已經搭建起來並正在運行的系統來說,這個方案應該比較復雜。
另外一種實現方式是通過數據庫代理層,代理對應用層呢個是透明的,所有的讀寫分離操作由代理層來完成,好處就是對於開發應用層來說是透明的,不需要管理數據源,缺點在於應用原來直接訪問數據庫現在變成了通過代理訪問數據庫,性能上肯定會有影響,不過如果代理層實現的很優秀的話這個影響應該不大。
通過代理層實現數據庫讀寫分離又有兩種方案可供選擇,其一是使用MySQL-Proxy,另一種是使用Amoeba。最開始找到的實現方案是基於MySQL-Proxy的,由於它沒有配置文件,所要完成的工作需要由Lua腳本來實現,這對於一個Lua門外漢來說壓力不小。後來找到的Amoeba實現起來很簡單,只需要簡單地配置就能實現數據庫的讀寫分離,所以這裡記錄我通過使用Amoeba來實現數據庫讀寫分離的過程。
Amoeba簡介:
Amoeba(變形蟲)致力於MySQL的分布式數據庫前端代理層,它主要在應用層訪問MySQL的 時候充當SQL路由功能,專注於分布式數據庫代理層(Database Proxy)開發。座落與 Client、DB Server(s)之間,對客戶端透明。具有負載均衡、高可用性、SQL 過濾、讀寫分離、可路由相關的到目標數據庫、可並發請求多台數據庫合並結果。 通過Amoeba你能夠完成多數據源的高可用、負載均衡、數據切片的功能。
Amoeba使用:
一、准備工作
二、下載安裝amoeba
下載地址:https://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/3.x/,選擇最新版本進行下載,我下載的版本為:amoeba-mysql-3.0.5-RC-distribution.zip
安裝:把zip安裝包解壓到自己指定的服務器路徑上就可以了,我把它放在了/usr/local/amoeba/amoeba-mysql-3.0.5-RC裡面,解壓後的文件結構如下圖:
三、配置amoeba
Amoeba基礎配置介紹:
想象Amoeba作為數據庫代理層,它一定會和很多數據庫保持通信,因此它必須知道由它代理的數據庫如何連接,比如最基礎的:主機IP、端口、Amoeba使用的用戶名和密碼等等。這些信息存儲在$AMOEBA_HOME/conf/dbServers.xml中。
Amoeba為了完成數據切分提供了完善的切分規則配置,為了了解如何分片數據、如何將數據庫返回的數據整合,它必須知道切分規則。與切分規則相關的信息存儲在$AMOEBA_HOME/conf/rule.xml中。
當我們書寫SQL來操作數據庫的時候,常常會用到很多不同的數據庫函數,比如:UNIX_TIMESTAMP()、SYSDATE()等等。這些函數如何被Amoeba解析呢?$AMOEBA_HOME/conf/functionMap.xml描述了函數名和函數處理的關系。
對$AMOEBA_HOME/conf/rule.xml進行配置時,會用到一些我們自己定義的函數,比如我們需要對用戶ID求HASH值來切分數據,這些函數在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定義。
Amoeba可以制定一些可訪問以及拒絕訪問的主機IP地址,這部分配置在$AMOEBA_HOME/conf/access_list.conf中
Amoeba允許用戶配置輸出日志級別以及方式,配置方法使用log4j的文件格式,文件是$AMOEBA_HOME/conf/log4j.xml。
在開始配置amoeba配置文件之前我們需要先了解為什麼要做這些配置工作。
第一,如上第一條所述,Amoeba是通過代理MySQL服務來實現數據庫的讀寫分離的,它必須要知道如何連接到需要被代理的數據庫,因此需要被代理的數據庫需要創建一個訪問用戶給amoeba,這樣amoeba才能連接到數據庫上。
第二,amobea把對客戶端也就是應用層是透明的,不管amoeba如何實現的讀寫分離,它既然把數據庫全都給代理了,那它就要為客戶端提供一個類似原來mysql那樣的連接,客戶端就把當它是mysql,它其實是一個虛擬的mysql,對外提供mysql協議,客戶端連接amoeba就象連接mysql一樣,因此amoeba要為客戶端提供一個可供連接的用戶賬號。
第三,amoeba內部是實現了多數據庫的負載均衡、讀寫分離、可切片的,所以這部分的配置是它功能上的核心配置。
下面就正式開始配置amoeba
mysql>grant all on *.* to 'amoeba'@'182.92.172.80' identified by '123456' #創建用戶並授權 mysql>flush privileges; #刷新權限
為了方便統一管理就把所有數據庫創建的用戶名和密碼保持一致了
2.配置conf文件
在amoeba安裝目錄的conf文件夾下找到dbServer.xml和amoeba.xml文件,這兩個文件是需要我們配置的
我的dbServer.xml文件配置如下:
1 <?xml version="1.0" encoding="gbk"?> 2 3 <!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd"> 4 <amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/"> 5 6 <!-- 7 Each dbServer needs to be configured into a Pool, 8 If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration: 9 add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig 10 such as 'multiPool' dbServer 11 --> 12 13 <dbServer name="abstractServer" abstractive="true"> 14 <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> 15 <property name="connectionManager">${defaultManager}</property> 16 <property name="sendBufferSize">64</property> 17 <property name="receiveBufferSize">128</property> 18 19 <!-- mysql port --> 20 <!--<property name="port">3306</property>--> 21 22 <!-- mysql schema --> 23 <property name="schema">yj_platform</property> 24 25 <!-- mysql user --> 26 <property name="user">amoeba</property> 27 28 <property name="password">123456</property> 29 </factoryConfig> 30 31 <poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool"> 32 <property name="maxActive">500</property> 33 <property name="maxIdle">500</property> 34 <property name="minIdle">1</property> 35 <property name="minEvictableIdleTimeMillis">600000</property> 36 <property name="timeBetweenEvictionRunsMillis">600000</property> 37 <property name="testOnBorrow">true</property> 38 <property name="testOnReturn">true</property> 39 <property name="testWhileIdle">true</property> 40 </poolConfig> 41 </dbServer> 42 43 <dbServer name="master" parent="abstractServer"> 44 <factoryConfig> 45 <!-- mysql ip --> 46 <property name="ipAddress">182.92.172.96</property> 47 <!-- mysql port --> 48 <property name="port">3306</property> 49 </factoryConfig> 50 </dbServer> 51 52 <dbServer name="slave1" parent="abstractServer"> 53 <factoryConfig> 54 <!-- mysql ip --> 55 <property name="ipAddress">123.57.44.78</property> 56 <!-- mysql port --> 57 <property name="port">13306</property> 58 </factoryConfig> 59 </dbServer> 60 61 <!-- <dbServer name="multiPool" virtual="true"> 62 <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool"> 63 #Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA 64 <property name="loadbalance">1</property> 65 66 #Separated by commas,such as: server1,server2,server1 67 <property name="poolNames">slave1,slave2</property> 68 </poolConfig> 69 </dbServer> 70 --> 71 </amoeba:dbServers>
需要我們關注的元素用標紅字體顯示出來了,在這裡是指幾個dbServer元素,需要手動修改的部分用黃色背景表示出來。
第一個dbServer元素其abstractive="true"屬性表示這個一個抽象元素可以被其他dbServer元素擴展,類似於java裡面的抽象類和類的繼承之間的關系。這個dbServer裡面配置amoeba連接它所代理的mysql數據庫的連接信息,因為之前已經說過為了方便管理把每個數據庫為amoeba訪問創建的用戶都統一了賬號,在這裡我把端口信息給注釋掉了,因為我的slave數據庫端口用的不是默認的3306,這種和ip,端口不一樣的信息就沒辦法配置在通用的抽象dbServer裡面了。
第二個dbServer取名為"maser",其parent="abstractServer"表示拓展了上面的抽象dbServer,在這裡設置的是amoeba連接數據庫具體的信息,因為每個數據庫的ip肯定是不同的。
同樣第三個dbServer取名為“slave”,連接信息是slave服務器。
在下面被我注釋掉的第四個dbServer其name="multiPool" virtual="true"屬性表示這是一個對多服務器池,這個配置使得amoeba可以把多個讀數據庫管理成一個讀池,把多個寫數據庫管理成寫池,在每個池中amoeba就能夠實現負載均衡。由於我的主從同步只設置了一主一從,並不涉及到多個讀數據庫組成池的情況,所以我就把這個配置注釋掉了。
接下來配置amoeba.xml文件,同樣放上我的配置文件:
1 <?xml version="1.0" encoding="gbk"?> 2 3 <!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"> 4 <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/"> 5 6 <proxy> 7 8 <!-- service class must implements com.meidusa.amoeba.service.Service --> 9 <service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService"> 10 <!-- port --> 11 <property name="port">8066</property> 12 13 <!-- bind ipAddress --> 14 15 <!--<property name="ipAddress">127.0.0.1</property>--> 16 17 18 <property name="connectionFactory"> 19 <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory"> 20 <property name="sendBufferSize">128</property> 21 <property name="receiveBufferSize">64</property> 22 </bean> 23 </property> 24 25 <property name="authenticateProvider"> 26 <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"> 27 28 <property name="user">amoeba</property> 29 30 <property name="password">password</property> 31 32 <property name="filter"> 33 <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController"> 34 <property name="ipFile">${amoeba.home}/conf/access_list.conf</property> 35 </bean> 36 </property> 37 </bean> 38 </property> 39 40 </service> 41 42 <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext"> 43 44 <!-- proxy server client process thread size --> 45 <property name="executeThreadSize">128</property> 46 47 <!-- per connection cache prepared statement size --> 48 <property name="statementCacheSize">500</property> 49 50 <!-- default charset --> 51 <property name="serverCharset">utf8</property> 52 53 <!-- query timeout( default: 60 second , TimeUnit:second) --> 54 <property name="queryTimeout">60</property> 55 </runtime> 56 57 </proxy> 58 59 <!-- 60 Each ConnectionManager will start as thread 61 manager responsible for the Connection IO read , Death Detection 62 --> 63 <connectionManagerList> 64 <connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper"> 65 <property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property> 66 </connectionManager> 67 </connectionManagerList> 68 69 <!-- default using file loader --> 70 <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader"> 71 <property name="configFile">${amoeba.home}/conf/dbServers.xml</property> 72 </dbServerLoader> 73 74 <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> 75 <property name="ruleLoader"> 76 <bean class="com.meidusa.amoeba.route.TableRuleFileLoader"> 77 <property name="ruleFile">${amoeba.home}/conf/rule.xml</property> 78 <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property> 79 </bean> 80 </property> 81 <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property> 82 <property name="LRUMapSize">1500</property> 83 <property name="defaultPool">slave1</property> 84 <property name="writePool">master</property> 85 <property name="readPool">slave1</property> 86 <property name="needParse">true</property> 87 </queryRouter> 88 </amoeba:configuration>
amoeba.xml文件中需要配置的地方也不多,首先要配置的是service標簽,其中需要配置的地方有三個port,user,password。這裡的端口,用戶名和密碼其實就是為了虛擬出一個mysql鏈接做准備的(非真實,amoeba服務器可以不安裝真實的mysql數據庫),端口默認的事8066,可以修改但是不要跟現有的端口沖突,用戶名和密碼是客戶端連接amoeba虛擬出來的mysql連接的用戶名密碼,和之前mysql數據庫創建給amoeba的用戶賬號不同。在這裡有一個注釋掉的ipAddress屬性,如果Amoeba所在的服務器在多個網絡環境內你可以定義該機器的其中一個IP來指定Amoeba所服務的網絡環境,但是如果設置為127.0.0.1將導致其他機器無法訪問Amoeba的服務。
之後配置queryRouter標簽,這是amoeba真正實現讀寫分離所產生作用的地方,之前的配置都是為了該處做准備。
該處有三個地方需要我們配置,首先是defaultPool,一些除了SELECT\UPDATE\INSERT\DELETE的語句都會在defaultPool執行。
之後是writePool,這裡是配置寫庫也就是主數據庫,在這裡是前面dbServer.xml中配置的master。
resdPool配置的是讀庫,我這裡是slave1,如果讀庫有多個這裡可以填讀池,也就是我在dbServer.xml中注釋掉的那個dbServer配置的信息。在這裡就完成了讀寫分離(主寫從讀)的配置。我的配置中是把寫操作限制在了master中,把讀限制在了slave中,如果我把defaultPool改成master的話那麼讀操作就會在master和slave之間做負載均衡了。
四、配置jvm運行參數
運行在jdk1.7環境中的amoeba要求xss參數必須大於228才能啟動JVM
所以在amoeba安裝目錄下的jvm.properties文件中進行參數設置:
1 # app名字 2 APP_NAME=Amoeba-MySQL 3 4 # app版本號 5 APP_VERSION=3.0.0-beta 6 7 # 日志輸出路徑,log4j中可引用參數 ${project.output} 8 9 APP_OUTPUT_PATH=$PROJECT_HOME/logs 10 11 # 應用程序的PID文件存放路徑, 默認存放在: ${project.home}/${APP_NAME}.pid 12 13 #APP_PID_PATH=/temp/logs/$APP_NAME 14 15 16 # 控制台輸出到日志文件 17 18 APP_CONSOLE_LOG=$APP_OUTPUT_PATH/console.log 19 20 21 # 程序相關的配置參數 22 23 #APP_OPTIONS="-DmyParam=value1 -DmyParam2=value2" 24 25 # 啟動參數 26 27 #APP_ARGS="args0 " 28 29 30 # JVM相關的參數,包括內存配置、垃圾回收策略 31 32 JVM_OPTIONS="-server -Xms512m -Xmx1024m -Xss512k -XX:PermSize=16m -XX:MaxPermSize=96m" 33 34 35 # 應用程序忽略的信號列表,以逗號分割,程序shutdown的信號為15(可用 kill -15 pid 可讓程序文明的shutdown,請不要在這兒填15) 36 37 IGNORE_SIGNALS=1,2
如上所有的配置工作就已經完成了,可以看出amoeba所需的全部配置工作還是比較少的。
啟動amoeba:
啟動腳本在amoeba安裝目錄的bin目錄下運行lancher:
root@iZ25j1wvn7pZ:/usr/local/amoeba/amoeba-mysql-3.0.5-RC/bin# ./launcher 2016-12-12 21:38:05,748 INFO context.MysqlRuntimeContext - Amoeba for Mysql current versoin=5.1.45-mysql-amoeba-proxy-3.0.4-BETA log4j:WARN ip access config load completed from file:/usr/local/amoeba/amoeba-mysql-3.0.5-RC/conf/access_list.conf 2016-12-12 21:38:06,037 INFO net.ServerableConnectionManager - Server listening on /127.0.0.1:8066. 2016-12-12 22:14:44 [INFO] Project Name=Amoeba-MySQL, PID=2596 , System shutdown .... 2016-12-12 22:14:48 [INFO] Project Name=Amoeba-MySQL, PID=3324 , starting... log4j:WARN log4j config load completed from file:/usr/local/amoeba/amoeba-mysql-3.0.5-RC/conf/log4j.xml 2016-12-12 22:14:49,405 INFO context.MysqlRuntimeContext - Amoeba for Mysql current versoin=5.1.45-mysql-amoeba-proxy-3.0.4-BETA log4j:WARN ip access config load completed from file:/usr/local/amoeba/amoeba-mysql-3.0.5-RC/conf/access_list.conf 2016-12-12 22:14:49,664 INFO net.ServerableConnectionManager - Server listening on 0.0.0.0/0.0.0.0:8066. 2016-12-14 15:02:14 [INFO] Project Name=Amoeba-MySQL, PID=3324 , System shutdown .... 2016-12-14 15:02:20 [INFO] Project Name=Amoeba-MySQL, PID=12246 , starting... log4j:WARN log4j config load completed from file:/usr/local/amoeba/amoeba-mysql-3.0.5-RC/conf/log4j.xml 2016-12-14 15:02:20,955 INFO context.MysqlRuntimeContext - Amoeba for Mysql current versoin=5.1.45-mysql-amoeba-proxy-3.0.4-BETA log4j:WARN ip access config load completed from file:/usr/local/amoeba/amoeba-mysql-3.0.5-RC/conf/access_list.conf 2016-12-14 15:02:21,224 INFO net.ServerableConnectionManager - Server listening on 0.0.0.0/0.0.0.0:8066.
運行結果如上所示表示啟動成功。
之後可以通過amoeba連接到數據庫,連接信息如下:
root@iZ25j1wvn7pZ:/usr/local/amoeba/amoeba-mysql-3.0.5-RC/bin# mysql -h182.92.172.80 -P8066 -uamoeba -ppassword Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2049945506 Server version: 5.1.45-mysql-amoeba-proxy-3.0.4-BETA (Ubuntu) Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql>
五、amoeba服務測試
從連接的server version 可以看出連接數據可的實例是amoeba-proxy實例不是mysql實例,這樣就表示可以通過amoeba的訪問賬戶連接amoeba服務了。之後就可以進行測試了,首先向數據庫中添加一條記錄,可以看見數據同時更新到master和slave中,主從同步功能是可以用的。之後在slave上停止slave服務,再通過amoeba寫入數據,這時amoeba重新讀出的數據就沒有新插入的數據了,因為主從同步功能已經關掉了,寫入的數據在master中,沒有同步到slave中,而amoeba讀數據是從slave中讀取的,因此沒有新加入的數據。之後打開slave的同步服務,再在amoeba中讀取就可以讀到之前添加的數據了。整體測試下來就保證了amoeba實現了讀寫分離功能。
參考資料:
mysql基於amoeba的讀寫分離
通過Amoeba對一個數據庫實例進行操作