平台:SunOS 5.8 Generic_108528-23 sun4u sparc SUNW,Ultra-Enterprise
數據庫:8.1.5.0.0
症狀:響應緩慢,應用請求已經無法返回。
登陸數據庫,發現redo日志組除current外都處於active狀態。
如果日志都處於active狀態,那麼顯然DBWR的寫已經無法跟上log switch觸發的檢查點。
接下來讓我們檢查一下DBWR的繁忙程度:
DBWR的進程號是2266。
使用Top命令觀察一下:
我們注意到,2266號進程消耗的CPU不過0.18%,顯然並不繁忙,那麼瓶頸就很可能在IO上。
使用iOSTAT工具檢查IO狀況。
我們注意到,存放數據庫的主要卷c1t1d0的繁忙程度始終處於99'100,而寫速度卻只有500K/s左右,這個速度是極為緩慢的。
(%b percent of time the disk is busy (transactions in progress) Kw/s kilobytes written per second)
根據我們的常識T3盤陣通常按Char寫速度可以達到10M/s左右,以前測試過一些Tpcc指標。
而正常情況下的數據庫隨機寫通常都在1'2M左右,顯然此時的磁盤已經處於不正常狀態,經過確認的確是硬盤發生了損壞,Raid5的Group中損壞了一塊硬盤。
經過更換以後系統逐漸恢復正常。