以前在使用Hibernate的時候知道其有一級緩存和二級緩存,限制ORM框架的發展都是互相吸收其他框架的優點,在Hibernate中也有一級緩存和二級緩存,用於減輕數據壓力,提高數據庫性能。
mybaits提供一級緩存和二級緩存結構如下圖:
可以看出一級緩存是sqlSession級別的,而二級緩存是Mapper級別的,同一個Mapper中的多個sqlSession可以共享緩存數據。
一級緩存是SqlSession級別的緩存。在操作數據庫時需要構造 sqlSession對象,在對象中有一個數據結構(HashMap)用於存儲緩存數據。不同的sqlSession之間的緩存數據區域(HashMap)是互相不影響的。 二級緩存是mapper級別的緩存,多個SqlSession去操作同一個Mapper的sql語句,多個SqlSession可以共用二級緩存,二級緩存是跨SqlSession的。
使用緩存時,如果緩存中有數據就不用從數據庫中獲取,大大提高系統性能。
Mybatis一級緩存的作用域是同一個SqlSession,在同一個sqlSession中兩次執行相同的sql語句,第一次執行完畢會將數據庫中查詢的數據寫到緩存(內存),第二次會從緩存中獲取數據將不再從數據庫查詢,從而提高查詢效率。當一個sqlSession結束後該sqlSession中的一級緩存也就不存在了。Mybatis默認開啟一級緩存。
一級緩存的工作原理:
第一次發起查詢用戶id為1的用戶信息,先去找緩存中是否有id為1的用戶信息,如果沒有,從數據庫查詢用戶信息。得到用戶信息,將用戶信息存儲到一級緩存中。
如果sqlSession去執行commit操作(執行插入、更新、刪除),清空SqlSession中的一級緩存,這樣做的目的為了讓緩存中存儲的是最新的信息,避免髒讀。
第二次發起查詢用戶id為1的用戶信息,先去找緩存中是否有id為1的用戶信息,緩存中有,直接從緩存中獲取用戶信息。
一級緩存區域是根據SqlSession為單位劃分的,每次查詢會先從緩存區域找,如果找不到從數據庫查詢,查詢到數據將數據寫入緩存。Mybatis內部存儲緩存使用一個HashMap,key為hashCode+sqlId+Sql語句。value為從查詢出來映射生成的java對象sqlSession執行insert、update、delete等操作commit提交後會清空緩存區域。
還以前面提到的根據id來查詢用戶信息為例來測試,測試代碼如下:
1 public void testCache2() throws Exception { 2 // 獲取sqlSession對象 3 SqlSession sqlSession = sqlSessionFactory.openSession(); 4 // 創建OrderMapper對象,MyBatis自動生成mapper代理 5 UserMapper userMapper = sqlSession.getMapper(UserMapper.class); 6 // 下邊查詢使用一個SqlSession 7 // 第一次發起請求,查詢id為1的用戶 8 User user1 = userMapper.findUserById(10); 9 System.out.println(user1); 10 User user3 = userMapper.findUserById(10); 11 System.out.println(user1 == user3); 12 // 如果sqlSession去執行commit操作(執行插入、更新、刪除),清空SqlSession中的一級緩存,這樣做的目的為了讓緩存中存儲的是最新的信息,避免髒讀。 13 // 更新user1的信息 14 user1.setUsername("測試用戶22"); 15 userMapper.updateUser(user1); 16 // 執行commit操作去清空緩存 17 sqlSession.commit(); 18 // 第二次發起請求,查詢id為1的用戶 19 User user2 = userMapper.findUserById(10); 20 System.out.println(user2); 21 22 sqlSession.close(); 23 }
運行結果如下:
1 DEBUG [main] - ==> Preparing: select * from user where id = ? 2 DEBUG [main] - ==> Parameters: 10(Integer) 3 DEBUG [main] - <== Total: 1 4 10-張明明3-1-北京市-Thu Jul 10 00:00:00 CST 2014 5 DEBUG [main] - Cache Hit Ratio [com.luchao.mybatis.first.mapper.UserMapper]: 0.0 6 true 7 DEBUG [main] - ==> Preparing: update user set username=?,birthday=?,sex=?,address=? where id=? 8 DEBUG [main] - ==> Parameters: 測試用戶22(String), 2014-07-10 00:00:00.0(Timestamp), 1(String), 北京市(String), 10(Integer) 9 DEBUG [main] - <== Updates: 1 10 DEBUG [main] - Committing JDBC Connection [com.mysql.jdbc.JDBC4Connection@5352f96c] 11 DEBUG [main] - Cache Hit Ratio [com.luchao.mybatis.first.mapper.UserMapper]: 0.0 12 DEBUG [main] - ==> Preparing: select * from user where id = ? 13 DEBUG [main] - ==> Parameters: 10(Integer) 14 DEBUG [main] - <== Total: 1 15 10-測試用戶22-1-北京市-Thu Jul 10 00:00:00 CST 2014
可以看出在查詢user3的時候是沒有查詢數據庫的,它會直接從緩存中取出數據,並且和第一次放入緩存的數據是同一個數據。
實際運用:
正式開發,是將mybatis和spring進行整合開發,事務控制在service中,一個service方法中包括 很多mapper方法調用。偽代碼如下:
1 service{ 2 //開始執行時,開啟事務,創建SqlSession對象 3 //第一次調用mapper的方法findUserById(1) 4 //第二次調用mapper的方法findUserById(1),從一級緩存中取數據 5 //方法結束,sqlSession關閉 6 }
如果是執行兩次service調用查詢相同 的用戶信息,不走一級緩存,因為session方法結束,sqlSession就關閉,一級緩存就清空。
MyBatis二級緩存是可拔插式的,默認是不開啟的,在需要的時候進行配置,這是一種很好的設計理念,Hibernate也是這樣。
二級緩存區域是根據mapper的namespace劃分的,相同namespace的mapper查詢數據放在同一個區域,如果使用mapper代理方法每個mapper的namespace都不同,此時可以理解為二級緩存區域是根據mapper劃分。每次查詢會先從緩存區域找,如果找不到從數據庫查詢,查詢到數據將數據寫入緩存。Mybatis內部存儲緩存使用一個HashMap,key為hashCode+sqlId+Sql語句。value為從查詢出來映射生成的java對象。sqlSession執行insert、update、delete等操作commit提交後會清空緩存區域。
實現原理:
sqlSession1去查詢用戶id為1的用戶信息,查詢到用戶信息會將查詢數據存儲到二級緩存中。如果SqlSession3去執行相同 mapper下sql,執行commit提交,清空該 mapper下的二級緩存區域的數據。sqlSession2去查詢用戶id為1的用戶信息,去緩存中找是否存在數據,如果存在直接從緩存中取出數據。二級緩存與一級緩存區別,二級緩存的范圍更大,多個sqlSession可以共享一個UserMapper的二級緩存區域。
UserMapper有一個二級緩存區域(按namespace分) ,其它mapper也有自己的二級緩存區域(按namespace分)。每一個namespace的mapper都有一個二緩存區域,兩個mapper的namespace如果相同,這兩個mapper執行sql查詢到數據將存在相同 的二級緩存區域中。
開啟二級緩存的步驟:
1、開啟二級緩存
mybaits的二級緩存是mapper范圍級別,除了在SqlMapConfig.xml設置二級緩存的總開關,還要在具體的mapper.xml中開啟二級緩存。
在核心配置文件SqlMapConfig.xml中加入:
1 <setting name="cacheEnabled" value="true"/>
描述
允許值
默認值
cacheEnabled
對在此配置文件下的所有cache 進行全局性開/關設置。
true false
true
在Mapper中開啟二級緩存,UserMapper.xml下的sql執行完成會存儲到它的緩存區域(HashMap)。
在Mapper.xml中加入:
1 <cache />
就這麼簡單,不過cache中還可以加入緩存的實現類、大小、刷新頻率、是否只讀等屬性。
2、調用的POJO實現序列化接口即實現Serializable接口,這樣是為了將緩存數據取出執行反序列化操作,二級緩存數據存儲介質多種多樣,不一定在內存中。
3、測試代碼:
1 public void testCache1() throws Exception { 2 // 獲取sqlSession對象 3 SqlSession sqlSession1 = sqlSessionFactory.openSession(); 4 SqlSession sqlSession2 = sqlSessionFactory.openSession(); 5 SqlSession sqlSession3 = sqlSessionFactory.openSession(); 6 // 創建UserMapper對象,MyBatis自動生成mapper代理 7 UserMapper userMapper1 = sqlSession1.getMapper(UserMapper.class); 8 UserMapper userMapper2 = sqlSession2.getMapper(UserMapper.class); 9 UserMapper userMapper3 = sqlSession3.getMapper(UserMapper.class); 10 // 下邊查詢使用一個SqlSession 11 // 第一次發起請求,查詢id為1的用戶 12 User user1 = userMapper1.findUserById(10); 13 System.out.println(user1); 14 // 這裡執行關閉操作,將sqlsession中的數據寫到二級緩存區域 15 sqlSession1.close(); 16 User user2 = userMapper2.findUserById(10); 17 System.out.println(user2); 18 sqlSession2.close(); 19 System.out.println(user1==user2); 20 // 使用sqlSession3執行commit()操作 21 User user = userMapper3.findUserById(10); 22 user.setUsername("張明明3"); 23 userMapper3.updateUser(user); 24 // 執行提交,清空UserMapper下邊的二級緩存 25 sqlSession3.commit(); 26 sqlSession3.close(); 27 }
測試結果:
1 DEBUG [main] - ==> Preparing: select * from user where id = ? 2 DEBUG [main] - ==> Parameters: 10(Integer) 3 DEBUG [main] - <== Total: 1 4 10-張明明3-1-北京市-Thu Jul 10 00:00:00 CST 2014 5 DEBUG [main] - Resetting autocommit to true on JDBC Connection [com.mysql.jdbc.JDBC4Connection@70c7e52b] 6 DEBUG [main] - Closing JDBC Connection [com.mysql.jdbc.JDBC4Connection@70c7e52b] 7 DEBUG [main] - Returned connection 1892148523 to pool. 8 DEBUG [main] - Cache Hit Ratio [com.luchao.mybatis.first.mapper.UserMapper]: 0.5 9 10-張明明3-1-北京市-Thu Jul 10 00:00:00 CST 2014 10 false 11 DEBUG [main] - Cache Hit Ratio [com.luchao.mybatis.first.mapper.UserMapper]: 0.6666666666666666 12 DEBUG [main] - Opening JDBC Connection 13 DEBUG [main] - Checked out connection 1892148523 from pool. 14 DEBUG [main] - Setting autocommit to false on JDBC Connection [com.mysql.jdbc.JDBC4Connection@70c7e52b] 15 DEBUG [main] - ==> Preparing: update user set username=?,birthday=?,sex=?,address=? where id=? 16 DEBUG [main] - ==> Parameters: 張三(String), 2014-07-10 00:00:00.0(Timestamp), 1(String), 北京市(String), 10(Integer) 17 DEBUG [main] - <== Updates: 1
可以看出第二次查詢的user2是在緩存中取出的,沒有去查下數據庫。另外,在sqlSession在執行close()方法才會將數據寫入到緩存中。在結果中我們看到user1==users的結果為false,這個在緩存中取出的的嗎,怎麼會不一樣?這是因為user2是通過反序列化得到的拷貝,所以user1和user2不是同一個對象。可以通過設置緩存的readonly=true來設置緩存為只讀,從而得到的將會是同一個對象。
4、userCache配置的
在statement中設置useCache=false可以禁用當前select語句的二級緩存,即每次查詢都會發出sql去查詢,默認情況是true,即該sql使用二級緩存。
總結:針對每次查詢都需要最新的數據sql,要設置成useCache=false,禁用二級緩存。
5、刷新緩存
在mapper的同一個namespace中,如果有其它insert、update、delete操作數據後需要刷新緩存,如果不執行刷新緩存會出現髒讀。設置statement配置中的flushCache="true" 屬性,默認情況下為true即刷新緩存,如果改成false則不會刷新。使用緩存時如果手動修改數據庫表中的查詢數據會出現髒讀。
總結:一般下執行完commit操作都需要刷新緩存,flushCache=true表示刷新緩存,這樣可以避免數據庫髒讀。
6、MyBatis中cache的參數
flushInterval(刷新間隔)可以被設置為任意的正整數,而且它們代表一個合理的毫秒形式的時間段。默認情況是不設置,也就是沒有刷新間隔,緩存僅僅調用語句時刷新。
size(引用數目)可以被設置為任意正整數,要記住你緩存的對象數目和你運行環境的可用內存資源數目。默認值是1024。
readOnly(只讀)屬性可以被設置為true或false。只讀的緩存會給所有調用者返回緩存對象的相同實例。因此這些對象不能被修改。這提供了很重要的性能優勢。可讀寫的緩存會返回緩存對象的拷貝(通過序列化)。這會慢一些,但是安全,因此默認是false。
eviction屬性回收策略,可用的收回策略有, 默認的是 LRU:
EhCache 是一個純Java的進程內緩存框架,是一種廣泛使用的開源Java分布式緩存,具有快速、精干等特點,是Hibernate中默認的CacheProvider。
分布式緩存:
我們系統為了提高系統並發,性能、一般對系統進行分布式部署(集群部署方式)。
不使用分布緩存,緩存的數據在各各服務單獨存儲,不方便系統開發。所以要使用分布式緩存對緩存數據進行集中管理。mybatis無法實現分布式緩存,需要和其它分布式緩存框架進行整合。
1、MyBatis整合ehcache的原理
通過實現Cache接口可以實現mybatis緩存數據通過其它緩存數據庫整合,mybatis的特長是sql操作,緩存數據的管理不是mybatis的特長,為了提高緩存的性能將mybatis和第三方的緩存數據庫整合,比如ehcache、memcache、redis等。
2、引入jar包
3、引入ehcache的配置文件
classpath下添加:ehcache.xml
1 <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 2 xsi:noNamespaceSchemaLocation="../config/ehcache.xsd"> 3 <diskStore path="D:\ehcache" /> 4 <defaultCache 5 maxElementsInMemory="1000" 6 maxElementsOnDisk="10000000" 7 eternal="false" 8 overflowToDisk="false" 9 timeToIdleSeconds="120" 10 timeToLiveSeconds="120" 11 diskExpiryThreadIntervalSeconds="120" 12 memoryStoreEvictionPolicy="LRU"> 13 </defaultCache> 14 </ehcache>
屬性說明:
diskStore:指定數據在磁盤中的存儲位置。
defaultCache:當借助CacheManager.add("demoCache")創建Cache時,EhCache便會采用<defalutCache/>指定的的管理策略
以下屬性是必須的:
maxElementsInMemory - 在內存中緩存的element的最大數目
maxElementsOnDisk - 在磁盤上緩存的element的最大數目,若是0表示無窮大
eternal - 設定緩存的elements是否永遠不過期。如果為true,則緩存的數據始終有效,如果為false那麼還要根據timeToIdleSeconds,timeToLiveSeconds判斷
overflowToDisk - 設定當內存緩存溢出的時候是否將過期的element緩存到磁盤上
以下屬性是可選的:
timeToIdleSeconds - 當緩存在EhCache中的數據前後兩次訪問的時間超過timeToIdleSeconds的屬性取值時,這些數據便會刪除,默認值是0,也就是可閒置時間無窮大
timeToLiveSeconds - 緩存element的有效生命期,默認是0.,也就是element存活時間無窮大
diskSpoolBufferSizeMB 這個參數設置DiskStore(磁盤緩存)的緩存區大小.默認是30MB.每個Cache都應該有自己的一個緩沖區.
diskPersistent - 在VM重啟的時候是否啟用磁盤保存EhCache中的數據,默認是false。
diskExpiryThreadIntervalSeconds - 磁盤緩存的清理線程運行間隔,默認是120秒。每個120s,相應的線程會進行一次EhCache中數據的清理工作
memoryStoreEvictionPolicy - 當內存緩存達到最大,有新的element加入的時候, 移除緩存中element的策略。默認是LRU(最近最少使用),可選的有LFU(最不常使用)和FIFO(先進先出)
4、開啟ehcache緩存:
修改mapper.xml文件,在cache中指定EhcacheCache。
1 <cache type="org.mybatis.caches.ehcache.EhcacheCache"/>
根據需求調整緩存參數:
1 <cache type="org.mybatis.caches.ehcache.EhcacheCache" > 2 <property name="timeToIdleSeconds" value="3600"/> 3 <property name="timeToLiveSeconds" value="3600"/> 4 <!-- 同ehcache參數maxElementsInMemory --> 5 <property name="maxEntriesLocalHeap" value="1000"/> 6 <!-- 同ehcache參數maxElementsOnDisk --> 7 <property name="maxEntriesLocalDisk" value="10000000"/> 8 <property name="memoryStoreEvictionPolicy" value="LRU"/> 9 </cache>
應用場景:
對於訪問多的查詢請求且用戶對查詢結果實時性要求不高,此時可采用mybatis二級緩存技術降低數據庫訪問量,提高訪問速度,業務場景比如:耗時較高的統計分析sql、電話賬單查詢sql等。實現方法如下:通過設置刷新間隔時間,由mybatis每隔一段時間自動清空緩存,根據數據變化頻率設置緩存刷新間隔flushInterval,比如設置為30分鐘、60分鐘、24小時等,根據需求而定。
二級緩存的局限性:
因為MyBatis的二級緩存是根據namespace來劃分的,如果涉及到多個表的數據的管理,如果其他namespace一個表的數據進行了更新,這也就會出現髒讀數據。如果其他表進行了更新把所有涉及這個表的管理的緩存都清空,這也緩存的利用率就比較低。
mybatis二級緩存對細粒度的數據級別的緩存實現不好,比如如下需求:對商品信息進行緩存,由於商品信息查詢訪問量大,但是要求用戶每次都能查詢最新的商品信息,此時如果使用mybatis的二級緩存就無法實現當一個商品變化時只刷新該商品的緩存信息而不刷新其它商品的信息,因為mybaits的二級緩存區域以mapper為單位劃分,當一個商品信息變化會將所有商品信息的緩存數據全部清空。解決此類問題需要在業務層根據需求對數據有針對性緩存。