DB2 是個有著廣泛商業應用的關系數據庫軟件。作為一個數據庫管理員時常面臨著數據庫系統的遷移工作,這是一個復雜而艱巨的過程。互聯網和 DB2 的幫助文檔中有許多關於 DB2 數據庫遷移的介紹,但是對於 DB2 數據庫的跨平台遷移卻很少談及。本文將基於筆者的成功實踐,總結一下跨平台數據庫遷移的步驟和注意事項。
簡介
設想您是一個 DB2 商業數據庫系統的管理員。您被給予一項任務,支持業務開發和測試團隊對商業系統的持續開發,為他們創建一套獨立於產品環境的數據庫系統,從而不影響日常的商業運作。由於種種原因,這套開發和測試數據庫系統將運行在一個不同於產品環境的操作系統。我們知道 DB2 提供了一些方便的數據庫管理工具,比如數據庫的整體備份和恢復功能,用戶可以用它很方便的將一個 DB2 數據庫從一台物理節點遷移到另一個物理節點,但是 DB2 的備份和恢復功能目前只支持同構操作系統平台間的遷移,比如從 Windows 平台到 Windows 平台,AIX 平台到 AIX 平台。對於上述任務要求的跨平台的數據庫遷移,就沒有一個專門的工具可以很方便的實現。
遷移步驟
經過筆者的實踐,總結 DB2 數據庫的跨平台遷移步驟如下:
記錄源數據庫管理系統配置參數,以備遷移過後數據庫系統性能調優;
檢查源數據庫系統對象,明確要遷移哪些數據庫系統對象;
導出源數據庫系統的數據集;
生成源數據庫系統的數據對象定義語句;
在目標平台創建新的數據庫,參照源系統進行設置;
導入源數據集;
檢查數據集導入過程日志,排除可能的錯誤;
執行數據對象定義語句;
檢查數據對象語句執行日志,排除可能的錯誤;
檢查更新存儲過程的定義;
連接應用系統,測試數據庫遷移是否成功。
下面給出一個遵循上述步驟的具體例子,其中將給出執行這些步驟的具體 DB2 命令以供參考。
1. 記錄源數據庫管理系統配置參數。這些是很重要的數據環境設置,其中的一些設置關系到遷移能否成功。
清單 1. 顯示數據庫管理系統配置參數的命令
db2 get dbm cfg
清單 2. 顯示數據庫配置參數的命令
db2 get db cfg for source_db_name
注意:Italic part should be replaced by your settings.
注意:對於比較復雜的源數據庫,要注意它的應用程序組內存大小參數(appgroup_memo_sz)。如果它的大小不夠,後面生成數據對象定義的時候會有問題。
清單 3. 顯示數據庫注冊表變量的命令
db2set -all
清單 4. 顯示數據庫表空間的命令
db2 list tablespaces show detail
清單 5. 顯示數據庫程序包的命令
db2 list packages
上述顯示表空間和程序包的命令都需要先建立到源數據庫的連接。
2. 檢查源數據庫系統對象,明確要遷移哪些數據庫系統對象
如何檢查源數據庫系統對象?一個最直觀的方法就是使用DB2控制中心(db2cc)浏覽查看表,視圖,觸發器,用戶定義的函數,存儲過程等數據庫對象。尤其要注意有無大的表,比如一行數據的表定義可能大於8K的表。 這樣的表需要在目標數據庫上建立具有足夠頁大小的表空間。下面的步驟中將會給出列子。還需要注意的是有無外部定義的存儲過程,這些存儲過程所關聯的外部程序包需要手工重新關聯。
3. 導出源數據庫系統的數據集
DB2 提供了一個工具叫作 db2move,用戶通過它可以把所有用戶定義的表中的數據導出到 IXF(集成交換格式)的文件中。同時,在導入數據的時候,它還可以生成表上的所定義的索引。具體的導出執行命令如下:
清單 6. 導出源數據集
db2move dbname
export -u
username
-p
passWord
根據數據庫大小,機器性能的不同,這個導出過程可能耗時幾分鐘到幾個小時不等。在筆者的經歷中,這個導出過程就長達 2 個多小時。
4. 生成源數據庫系統的數據對象定義語句
在導出了數據之後,要做的就是導出數據對象定義。DB2提供了一個工具叫db2look,用戶可以通過它來生成數據庫中的數據對象定義,包括別名,表,索引,視圖,觸發器,用戶定義函數,存儲過程等。具體的命令如下:
清單 7. 生成數據對象定義語句
db2look -d dbname
-e -o
ddlfile
-i
username
-w
passWord
如果數據庫非常復雜,包含很多的數據對象定義,那麼在執行上述命令前,用戶有可能要先調整參數appgroup_memo_sz,才能夠順利的生成數據對象定義文件。下面是筆者修改這個參數的命令示例:
清單 8. 調整源數據庫參數
db2 update db cfg for dbname using appgroup_mem_sz 51368
5. 在目標平台創建新的數據庫,參照源系統設置參數
在源平台上完成了數據導出和數據對象定義語句生成之後,下面就是要在目標平台建立目標數據庫了。參考源數據庫的設置為新創建的數據庫配置適當的參數,通常需要調整的參數有:
dbheap - 數據堆大小
catalogcache_sz - 目錄高速緩存大小
logbufsz - 日志緩沖區大小
util_heap_sz - 實用程序堆大小
buffpage - 緩沖池大小
sortheap - 排序列表堆
stmtheap - SQL 語句堆
applheapsz - 缺省應用程序堆
筆者使用的調整語句如下:
清單 9. 調整語句
db2 update db cfg for dbname using dbheap 41599
db2 update db cfg for dbname using catalogcache_sz 38049
db2 update db cfg for dbname using logbufsz 256
db2 update db cfg for dbname using util_heap_sz 20000
db2 update db cfg for dbname using buffpage 1000
db2 update db cfg for dbname using sortheap 4096
db2 update db cfg for dbname using stmtheap 16384
db2 update db cfg for dbname using applheapsz 10242
對於非常復雜的數據庫,目標數據庫的日志參數還需要做出調整,以便在導入數據和生成數據對象時,系統不至於日志溢出。由於筆者要遷移的數據庫比較復雜,所以使用了較大的日志配置,命令示例如下:
清單 10. 命令示例
db2 update db cfg for dbname using logfilsiz 8192
db2 update db cfg for dbname using mincommit 1
db2 update db cfg for dbname using logprimary 24
db2 update db cfg for dbname using logsecond 108
6. 導入源數據集
細心的讀者可能會發現,這裡總結的步驟6和8看似不太符合一般的邏輯順序。對於數據庫系統,通常都是先生成數據系統對象,如表,視圖,觸發器等,然後再導入數據集。而上述步驟中卻是先導入數據集,然後再生成數據對象定義。 這能行的通嗎?對於DB2來說,這完全行得通,因為db2move命令在導入數據集時,會自動生成表和索引。這樣的順序對於復雜數據對象定義的數據庫遷移是唯一可行的順序,因為復雜數據庫中往往包含諸多復雜的數據約束語句, 它們會造成數據集導入時的種種問題。
清單 11. 導入源數據集的命令示例
db2move targetdbname
import -u
username
-p
passWord
如果數據量非常大,這個過程將會非常耗時。
7. 檢查數據集導入過程日志,排除可能的錯誤。
導入完成後,你需要檢查導入過程日志,查看有無錯誤發生。如果有錯誤,你需要找出解決方法,然後從步驟 5 重新開始。
8. 在目標系統執行數據系統對象定義語句
修改步驟 4 生成的 ddl 語句文件,去除文件前端的數據庫連接語句,保存後執行如下命令:
清單 12. 命令示例
db2 connect to targetdbname
user
username
using
passWord
db2 -tvf ddlfile > createSchema.log
db2 connect reset
9. 檢查數據對象生成日志,排除可能的錯誤
通常你會發現有很多創建表的語句執行失敗的記錄,不要緊張,這是正常的,因為前面的步驟中已經生成了所有的用戶表。所以檢查的焦點應該放在其他數據庫對象(如視圖和觸發器等)的生成語句上。 如果數據庫非常復雜,可能需要非常細致的檢查日志,以確保所有數據對象都正確創建。
10. 執行後期檢查
通常,用戶可能碰到兩種需要處理的情況。其一,如果數據庫系統中有用 Java 編寫的存儲過程,那麼需要注冊存儲過程的外部程序包。命令示例如下:
清單 13. 命令示例
db2 call sqlj.install_jar ('jar_url','jar_id')
db2 drop procedure procedurename
db2 create procedure procedurename
external name '
jar_id:
classname' language Java parameter style DB2GENERAL FENCED modifIEs sql data
db2 grant execute on procedure procedurename to public
其二,如果表定義中有數據庫管理的自動增長列,比如表定義語句含有 "GENERATED BY DEFAULT AS IDENTITY"。那麼你需要更新這些列的起始計數。命令示例如下:
清單 14. 命令示例
db2 alter table
tabname
alter column
colname
restart with
newstartnumber
這個 newstartnumber 的多少是要根據目前表中該列的最大值來定的,具體公式是 newstartnumber = currentmaxnumber + 1。
11. 配置應用程序,連接數據庫,測試遷移是否成功。
上述就是完整的 DB2 跨平台數據庫遷移步驟,筆者使用的 DB2 版本是 8.2。無論如何,數據庫遷移是個復雜的問題,其中難免有些情況筆者未曾遇到,歡迎有過類似經驗的高手指教和共同討論。