BM OPTIM 是 IM 產品線上的提供的企業數據管理方案的產品。IBM OPTIM 企業數據管理解決方案關注諸多關鍵的業務問題，比如數據增長管理、數據隱私遵從性、測試數據管理、電子發現、應用升級、遷移和退役。OPTIM 使應用數據管理適應業務目標，以優化性能、降低風險並控制成本，同時具有在不同的企業應用、數據庫和平台中伸縮的能力。Tivoli Storage Manager（簡稱 TSM），是 IBM Tivoli 軟件家族中的旗艦產品之一 Tivoli 軟件主要定位於為用戶提供企業級管理軟件，如系統管理、安全管理和存儲管理。TSM 能夠為用戶提供企業級的存儲數據管理解決方案，包括備份、歸檔、空間管理以及災難恢復管理等功能。
OPTIM 與 TSM 結合充分發揮了 2 個產品的優點，精煉數據的同時加強保護。既可以解決大量數據存儲問題又可以解決數據保護。本文對 IBM OPTIM 以及 TSM 進行了相關介紹了。詳細描述了 OPTIM 安裝、配置；TSM 的存儲架構以及 OPTIM 與 TSM 的連接與數據交互。本文適用於 OPTIM、TSM 管理員以及任何想了解使用 OPTIM,TSM 來存儲保護數據的讀者。
背景介紹
當今世界，數據已經成為企業的關鍵資產和市場競爭的一項關鍵因素。暫時無法操作的數據或者完全丟失數據都會造成巨大的經濟損失，使企業在競爭中喪失競爭力甚至退出市場。有效的提高業務連續性，防范系統突發事件，在盡可能降低運作成本和擁有成本的前提下，提高信息可靠性和可用性，已成為每個企業信息化工作急需解決的關鍵性問題。
本文的解決方案是通過 OPTIM 與 TSM 集成來精煉數據並保護數據。OPTIM 對數據庫中的相關數據進行數據抽取，將表的內容以字節的形式抽取到 OPTIM 內，存放在 OPTIM 內的數據量相比原數據量大大減少。抽取之後刪除數據庫中的抽取出來的原數據 , 原數據庫就得到了精簡。OPTIM 把抽取的數據存儲到 TSM 服務器上。TSM 服務器具有集中的數據備份與恢復管理功能；專業的數據歸檔管理功能；高效的分級存儲功能；流程化的災難恢復管理等，保證數據的安全性和可管理性。當業務需要還原數據時 , TSM 服務器可以把數據恢復到 OPTIM 中，OPTIM 再把數據添加到原數據庫中讓應用可以對恢復的數據進行操作。
圖 1. OPTIM 與 TSM 集成工作圖
查看原圖（大圖）
下面以某企業訂單系統為例具體介紹 OPTIM 與 TSM 集成的解決方案。
某訂單系統運行時間為 10 年，面臨如下情況：系統中存在大量的歷史訂單數據，然而只有 3 年內的數據是業務運行所必須的。一方面龐大的數據量使得訂單系統生成新訂單、查詢訂單的效率變得很低；另一方面一旦訂單系統的數據庫或者數據庫所在操作系統等遭到破壞，所有數據都將丟失。數據得不到很好管理和保護。
OPTIM 精煉數據
OPTIM 與 TSM 集成來精煉數據並保護數據解決方案中， OPTIM 可以為用戶提供高效的數據歸檔解決方案：精簡歷史數據，保證系統運行的效率。本文中介紹 OPTIM LUW 產品有三個重要組成部分 OPTIM 數據庫、OPTIM 客戶端以及 OPTIM 服務器。
OPTIM 數據庫，包含 OPTIM 定義的各種系統表，用於存儲管理企業數據活動時所需的各種 OPTIM 對象，以及活動狀態。OPTIM 數據庫存儲的關鍵對象有：
數據庫別名 (Data Alias)：包含 OPTIM 需要操作數據庫的連接參數。
訪問定義（Access Definition）對操作數據對象的定義，規定了需要訪問的數據表格等內容。
表映射對象 (Table Map) ：當需要對數據庫表進行轉換時，定義源表和目標表的映射關系。
數據列的映射 (Column Map)：用在表映射對象中，定義兩列之間的對應關系
其他對象：如鍵、關系、定時任務信息、操作請求、狀態數據等等。
OPTIM 客戶端用於定義 OPTIM 操作，制定各種系統對象，發起操作請求。
OPTIM 服務器用於執行相關操作，如數據歸檔、數據抽取等等。OPTIM 服務器接受 OPTIM 客戶端發起的請求，從 OPTIM 數據庫中獲取相關的任務對象，連接目標數據庫執行操作。
針對某企業的有三個子系統： SIEbel 下的客戶信息系統、DB2 環境下的訂單系統以及基於 Retek/Oracle 的財務系統。OPTIM 從 SIEbel 數據庫中獲取客戶相關的數據，從遺留下來的保持歷史訂單數據的 DB2 數據庫中獲取訂單數據，同時從 Oracle 環境下的財務系統中獲取支付數據。OPTIM 通過同一個訪問定義文件將這些數據整合為一個數據源，從而實現了對整個企業商業模型數據的整合。
該解決方案歸檔該企業三年以前的歷史數據，采用壓縮格式的歸檔文件，減少存儲空間。將與訂單數據相關的其他業務數據、元數據、以及相關的數據庫對象（如索引結構、鍵等）一並歸檔，保持業務數據的完整性，保證數據能夠正確地恢復。歸檔同時定制需要刪除的數據，一般只刪除增長速度快、占用絕大部分空間的訂單、詳單數據。歸檔方案具體實施過程說明如下：
1. 使用 OPTIM 客戶端定制歸檔任務。
詳細定義歸檔的目標數據 : 訂單數據、詳單數據、相關的數據庫對象（索引、鍵等）。利用訪問定義同時定義跨越三個應用系統的數據源，並自定義關系將三個系統中的表客戶信息表、歷史訂單表、財務信息表關聯起來，同時設定歸檔的數據條件為三年前。另外，定制需要刪除的數據為訂單數據、詳單數據，並選擇歸檔文件存放路徑。歸檔相關的所有信息都保存在 OPTIM 數據庫中。
2. 在 OPTIM 客戶端提交歸檔請求。
定制完成後，提交請求到指定的 OPTIM 服務器
3. OPTIM 服務器讀取歸檔請求
OPTIM 服務器從共享 OPTIM 數據庫中讀取歸檔相關的配置准備進行歸檔。
4. OPTIM 服務器執行歸檔操作
將歷史數據歸檔、壓縮，采用 OPTIM 壓縮格式的歸檔文件，壓縮率能夠達到 60% 到 80%。歸檔成功後 OPTIM 將對定制刪除的數據進行刪除。OPITM 采用比對刪除技術，能夠識別刪除時歸檔數據與當前數據庫數據的變化情況，最大限度的保證了數據的一致性。OPTIM 對歸檔文件有多種處理方式：對需要提供在線訪問的歸檔數據，由 OPTIM Open Data Manager(ODM) 模塊進行管理，使得其他應用程序可以用統一的方式 ( 如 ODBC、JDBC 以及 XML) 訪問歸檔數據；需要離線保存的歸檔數據，可以保存在磁盤或交給其他數據管理系統管理。
5. OPTIM 服務器生成歸檔報告。
歸檔報告詳細說明歸檔過程的執行情況、執行結果。
歸檔完成後，用戶可以根據需要通過恢復操作將歸檔數據重新導入業務系統中。
圖 2. OPTIM 歸檔工作過程
查看原圖（大圖）
TSM 備份並管理數據
OPTIM 與 TSM 集成來精煉數據並保護數據解決方案中，該企業的數據經過 OPTIM 精煉，交給 TSM 服務器進行保護和管理。Tivoli Storage Manager（簡稱 TSM）為用戶提供一體化企業級的存儲數據管理解決方案，包括備份、歸檔、空間管理以及災難恢復管理等功能。從信息生命周期的角度來看，TSM 能夠提供數據保護，數據歸檔，分級存儲以及數據的銷毀等一系列功能。TSM 不僅僅是一個數據備份軟件，能夠提供以數據備份為主的更多的數據管理功能。
TSM 架構
TSM 是客戶機－服務器架構。TSM 客戶機是需要數據保護的工作台，文件服務器，移動電腦和其他機器等。TSM 客戶機軟件安裝在這些系統上。本文中 OPTIM 是特定的 TSM 客戶端。
圖 3. TSM 架構圖
TSM 是以關系數據庫和事務日志為基礎的。數據庫和事務日志跟蹤元數據，備份了什麼，備份到那裡，政策是什麼，日程安排和管理員。客戶機通過 LAN 或 SAN 發送數據給服務器。備份數據可以通過日程表自動或者需要時手動進行。客戶機可以執行自己的恢復。客戶機發送的數據實際上是存儲在存儲池中。TSM 存儲池形成存儲架構多達 500 種支持設備這一點在其他產品中是很少見的。這一點提供了彈性的，長期的最重要的是快速的備份與恢復。TSM 提供了兩種工具來管理 TSM 服務器：管理命令行接口和以 WEB 為基礎的接口稱為管理中心。
除了典型的 TSM 客戶端以外，TSM 還提供了一種數據管理 API，它可以用來執行應用程序客戶端與一般的業務應用的集成到 TSM 解決方案中，例如數據庫或組件應用程序。這些解決方案命名為 TSM for database，TSM form mail 等。同時這些 API 也是公開的，可以允許客戶或廠商來應用生成適合的隨需定制自己的客戶端。本文中 OPTIM 就是特定的 TSM 客戶端。
TSM 存儲及設備
TSM 管理的由 OPTIM 抽取來的數據存儲在 TSM 存儲室中。存儲室可以由不同的存儲設備組成，例如磁盤、磁帶或光學設備，這些存儲設備都由 TSM 服務器控制。TSM 服務器有自己的控制模式來查看、分類和控制這些存儲設備並執行存儲管理功能。
TSM 的存儲管理和其他一般存儲產品最大的不同在於它 TSM 專注於管理數據對象而不是管理和控制備份磁帶。數據對象可以是從客戶系統備份的文件，目錄或者自然邏輯卷；可以是表或數據庫應用程序中的記錄，或者客戶系統想要備份到 TSM 上的簡單的數據塊。
圖 4. TSM 存儲管理概念圖
TSM 策略
TSM 數據存儲管理環境有三種基本類型的資源：客戶系統，規則和數據。客戶系統包含要管理的數據，規則指定管理如何發生，例如備份中多少版本需要保留，備份到那裡等等。TSM 策略定義了這三種基本資源間的關系。
圖 5. TSM 策略關系圖
歸檔到 TSM 服務器上數據首先通過節點與策略域關聯，策略域關聯的拷貝組保證了數據歸檔副本保留條件，滿足條件並且達到了歸檔池的遷移條件（默認是達到的容量的 80 ％開始數據遷移）數據開始遷移到下一個存儲池中。存儲池滿了通過 CHECK OUT 命令可以從 TSM 服務器中剝離出來放置在別的地方。
本文的解決方案中我們根據實際需要，在 TSM 服務器中為 OPTIM 使用的節點定義其存儲策略。
定義名為 OPTIMdomain 的策略域：
Define domain OPTIMdomain description=”policy domain for OPTIM”
在 OPTIMdomain 策略域中定義名為 OPTIMpolicyset 的策略集：
Define policyset OPTIMdomain OPTIMpolicyset
description=”policy set for OPTIM”
在 OPTIMdomain 策略域 OPTIMpolicyset 策略集中定義 OPTIMmgmtclass 管理類 :
Define mgmtclass OPTIMdomain OPTIMpolicyset OPTIMmgmtclass
description=”management class for OPTIM”
把定義的管理類作為該策略集中的默認管理類
Assign defmgmtclass OPTIMdomain OPTIMpolicyset OPTIMmgmtclass
在 OPTIMdomain 策略域 OPTIMpolicyset 策略集 OPTIMmgmtclass 管理類中定義 standard 拷貝組 :
Define copygroup OPTIMdomain OPTIMpolicyset OPTIMmgmtclass
standard dest=archivepool type=archive
拷貝組中可以定義類型（備份還是歸檔）、保存的版本數、保留副本天數等參數可以選擇。拷貝組的目標存儲池要提前定義好。我們關聯到歸檔存儲池 archivepool 的存儲設備為磁盤類型的，因為磁盤類型讀寫速度快效率高。
根據需要更新歸檔池下一個存儲池卷為磁帶類型。考慮到成本問題我們可以選擇歸檔存儲池的下一個存儲池關聯為磁帶類型的存儲設備，因為對於下一個存儲池的讀寫速度沒有那麼高的要求。
UPDate STGpool archivepool nextpool=tapepool
驗證並激活策略集 :
Validate policyset OPTIMdomain OPTIMpolicyset
Activate policyset OPTIMdomain OPTIMpolicyset
利用 TSM 提供的自動操作客戶端的中央調度程序自動完成歸檔任務。該中央調度程序可以讓調度程序在 OPTIM 客戶端執行確並不實際訪問 OPTIM 客戶端。具體的調度程序我們設計為每天自動歸檔一次 OPTIM 傳來的數據。在 TSM 服務器定義如下調度程序：
DEFine SCHedule OPTIMdomain OPTIMschedule Type=ClIEnt
ACTion=Archive OBJects=* PERIOD=1 PERUNITS=DAYS
DURation=30 DURUnits=MINUTES
該調度程序每天自動對 OPTIM 客戶端節點進行歸檔，啟動窗口的時間長度是 30 分鐘。
OPTIM 與 TSM 集成
OPTIM 要與 TSM 連接配置
OPTIM 利用 TSM 提供的數據管理 API，根據自己的需要定制專用客戶端。按照下面的步驟進行定制和配置，OPTIM 和 TSM 服務器就可以一起無縫的工作。
OPTIM 客戶端作為節點注冊到 TSM 服務器
register node myOPTIM passWord domain=OPTIMdomain
在 TSM 服務器上注冊名為 myoptim 的節點，密碼為 passWord, 並注冊到策略域 OPTIMdomain。注意：OPTIM 客戶端節點名與密碼要與 TSM 服務器上的設置保持一致。
將客戶機節點與調度關聯
DEFine ASSOCiation OPTIMdomain OPTIMschedule myOPTIM
要實現自動完成歸檔任務，需要把客戶機節點 myOPTIM 與在 OPTIMdomain 域中 OPTIMschedule 調度相關聯。
OPTIM 客戶端設置 Tivoli 為 Backup 設備。
啟動 OPTIM 運行程序，在“Options Product Options”中配置備份設備為 Tivoli，輸入節點名 myOPTIM 和密碼。
圖 6. OPTIM 客戶端設置與 TSM 連接圖
OPTIM 與 TSM 數據交互以及安全性
OPTIM 歸檔時將歸檔包備份到 TSM 服務器，使用 TSM 對歸檔文件進行管理。
OPTIM 與 TSM 數據交互是經過加密處理的 TSM 獨有的二進制格式，可以保證數據在備份和恢復過程中的完整性和安全性。而且，在每次數據備份和恢復時， TSM 都會自動進行 CRC 的數據校驗，以保證數據的完整性。在進行數據恢復時，用戶需要經過三重的安全驗證，只有驗證通過，才能進行數據的恢復。所以 TSM 的備份數據的安全性可以得到有效的保障。
TSM 在磁帶中的保存格式是 TSM 獨有的格式，只有通過 TSM 數據庫的配合，在 TSM 系統內部才可以將備份數據讀出。而且，在每次進行數據備份時， TSM 會檢查介質的可用性，如果遇到錯帶，它會拒絕使用，防止數據備份的失敗。 TSM 系統會在備份是在每合磁帶的帶頭寫入一些 TSM 的控制信息，當進行數據恢復時，系統會自動進行這些信息的校驗，如果信息校驗失敗（如插入錯誤的備份磁帶），系統會拒絕使用，這可以有效的保證備份數據的完整性。
管理的安全是保護應用數據的重要因素， TSM 提供管理員的多重的權限定義，實現多層次的管理方式， TSM 的管理員和 TSM ClIEnt 的用戶嚴格區分。因此，客戶可以根據實際的存儲環境和安全要求定義不同級別的管理員和用戶。同時它允許用戶授權進行數據恢復。 TSM 提供集成的一系列安全防范措施，提供對 IP 地址竊取、中斷、加密等影響安全的操作，保證備份的安全管理。
數據恢復
企業訂單系統有突發事件造成數據丟失，數據無法操作，或者業務需求，我們就可以進行數據恢復。本方案進行數據恢復需要進行兩個步驟，首先數據從 TSM 服務器恢復到 OPTIM，然後數據再從 OPTIM 恢復到該企業訂單系統中。
數據從 TSM 服務器恢復到 OPTIM 有兩種方法。一種是通過 OPTIM 用戶界面選中保存到 TSM 的文件，OPTIM 會通過調用 TSM API 從 TSM 服務器讀取文件恢復。另一種方法是在 TSM 服務器通過 RESTORE 命令進行數據恢復。上文中我們提到 TSM 存儲池滿或其他需求通過 CHECK OUT 命令可以從 TSM 服務器中剝離出來放置在別的地方。此時可以應用 TSM 的災難恢復（DRM）功能。DRM 提供了詳細跟蹤客戶端備份，歸檔和空間管理數據（通常是離線存儲）的另外的拷貝。DRM 也保持了數據的記錄了詳細的重新獲得步驟 和自動化的腳本文本文件－重新獲得計劃書。利用該功能當我們把 OPTIM 抽取來的數據歸檔到 TSM 服務器，服務器詳細記錄相關信息後可以使備份介質離線保存到別的地方。發生災難需要恢復的時候再把備份介質放回 TSM 服務器中，TSM 根據重新獲得計劃書中的信息恢復數據到 OPTIM 中去。
圖 7. TSM DRM 功能示意圖
數據再從 OPTIM 恢復到該企業訂單系統的過程有兩種模式：插入模式以及載入模式。插入模式是 OPITM 根據歸檔文件中的歷史數據生成相應的插入 SQL 語句，通過執行插入語句從而把數據插入數據庫中；載入模式下 OPTIM 首先需要將歸檔文件中的歷史數據轉換成為數據庫能夠識別的格式，然後調用數據庫本身的載入工具將數據加載到數據庫中。插入模式適用於數據量較小的恢復，如選擇性恢復，而載入適用於數據量比較大的恢復過程。這裡仍然以前面提到企業為例，解釋恢復數據的過程。假設現在該企業由於業務需要，需要經常查詢 4 年以內的訂單數據，因此需要將前面已經歸檔並從數據庫中刪除的最後一年的數據恢復回原庫中。整個過程描述如下 :
1. 使用 OPTIM 客戶端定制恢復任務。
定制恢復任務總共有三步操作：第一步選擇恢復的數據源。數據源可以是一個或多個歸檔文件，並可以通過增加過濾條件進行選擇性恢復，本例中只需要恢復歸檔文件中最後一年的數據。第二步確定恢復的目標數據庫表。在這一步中，若需要恢復的目標表結構相對於歸檔時的表結構有改動，可以通過表映射對象進行定制，使得恢復時數據能夠保持匹配。第三步選擇恢復模式，即確定恢復模式是插入模式還是載入模式。
2. 在 OPTIM 客戶端提交恢復請求。
將請求提交到 OPTIM 服務器，可以選擇立即執行或者使用調度執行功能，將任務設定為在指定時間執行；
3. OPTIM 服務器從 OPTIM 數據庫讀取恢復請求相關參數。
4. OPTIM 服務器執行恢復任務並生成恢復過程報告。
OPTIM 對恢復過程可以保證數據的一致性：恢復時進行內容檢查，若同一條記錄內容不一致，可以根據用戶設置對記錄進行更新或者保留。另外，OPTIM 為插入模式下的恢復過程提供了靈活的控制方式：對每條恢復的記錄，將其恢復狀態記錄到控制文件中，恢復過程還可以進行暫停或者中斷，等需要時再從控制文件中記錄的暫停、中斷位置繼續恢復數據。
5.OPTIM 服務器生成歸檔報告。
歸檔報告詳細說明恢復過程的執行情況以及執行結果。
OPTIM 與 TSM 結合，為企業解決數據增長和數據保護問題提供了完備的解決方案，幫助企業對數據進行分級管理，從而優化了業務系統的性能並節省了數據管理的成本，同時保證數據的一致性與安全性，所有操作都可以進行回溯，解決了企業的後顧之憂。
結束語
OPTIM 與 TSM 結合充分發揮了兩個產品的優點，精煉數據的同時加強保護。既可以解決大量數據存儲問題又可以解決數據保護。凡是涉及到數據庫中大量數據不斷增長的情況都可以通過 OPTIM 與 TSM 結合的解決方案。像電信系統、網上購物系統、醫院病例記錄系統等。該解決方案擁有廣泛的應用領域和市場前景。希望本文對您有所收益。
