項目背景
交通銀行在信息化的戰略主要包括二個方向的發展:
業務處理集中化,主要體現在業務系統大集中上,取消了以往分散在各個支行的業務系統而將業務處理系統集中到總部,嶄新的大集中業務系統能夠理順各地業務的不一致性,從而起到集約化管理的作用,降低了業務成本,提高業務流程的規范性和有效性。
企業分析構架的建設,主要體現在銀行集中精力進行數據倉庫的建設,目標是創建企業核心的數據視圖,從而滿足越來越多樣性的各種數據分析,和業務發展決策管理的需要。目標是通過數據倉庫以及相關的數據集市分析應用幫助銀行建立差異化的服務和特殊的業務管理能力,從而提高銀行客戶的滿意程度,並相應地獲取更大的市場份額和較高的利潤率,最終使交行能夠在激烈的市場競爭中處於更有力的態勢。
交行的客戶信息系統就是銀行的分析架構的重要組成部分,其基本定位如下:
— 客戶綜合信息系統是交行數據大集中工程的重要組成部分,是建立在交行數據大集中工程的三個生產系統所產生的客戶業務數據信息的基礎之上的一個客戶信息的收集、整理、分析、應用的系統。
— 客戶綜合信息系統屬於後台的集成管理信息系統,是決策管理層面的重要組成部分,在功能層次上與其它生產系統的區別在於,它是側重於客戶的業務信息的分析系統,而不是側重於客戶業務的流程控制管理的系統。
— 客戶綜合信息系統的目標是建立全行的客戶信息的單一視圖,有效的匯集客戶、機構、產品、賬戶、渠道等分析要素的基礎信息,成為一個服務於我行各級管理決策人員和業務分析人員的公共信息查詢分析平台,使全行的客戶信息能夠共享,它服務的對象是業務管理部門、營銷部門以及與客戶信息相關聯的非業務部門。
— 客戶綜合信息系統也是一個營銷工作的管理平台。?建立基礎框架,為後續的深度開發內容做准備。一期的開發內容不僅需要解決客戶的基本信息查詢分析,滿足當前的營銷管理、考核輔助等應用問題,還需要在 系統的基礎框架設計方面為後續的深度開發做一些准備,諸如產品清理、產品的毛收入的分析、主題分析的可擴展性等,以便能與未來的系統開發內容對接。
項目建設的評估和過程
Sybase IQ是Sybase針對數據查詢和數據分析應用而設計的關系型數據庫系統,具有數據壓縮,高效率即興查詢分析,和線性可擴展的特點,其開放的架構以及標准的訪問接口非常適用於面向大數據量情況下的數據集市以及以分析為主的業務應用使用。
2005年4月起,交行進行了一系列針對Sybase IQ的測試,Sybase IQ表現出在普通的硬件環境下遠超過一般數據庫運行性能的結果。IQ與OLTP數據庫相比存儲原始數據的存儲比為1 vs 3-8,索引化數據後存儲比達到1 vs 3, IQ可以預先優化索引而且索引的空間很小和建造索引的時間很短,對不同查詢無需改變索引,無需人工干預; 從測試來看IQ能夠高速地進行大數據下的復雜查詢操作,性能是傳統數據庫的2-20倍,而且IQ使用資源與傳統數據庫不同,IQ主要提高了CPU的使用效率,而並不依賴於I/O性能的提高; 從並發操作來看,IQ具有更好地滿足大用戶並發條件下復雜查詢的能力在多用戶並發下查詢效能降低很慢。
交通銀行根據IQ在測試中表現出的: 出色的數據壓縮比,高性能的匯總和查詢能力以及存儲過程的靈活方便性選擇IQ作為客戶數據分析平台的數據庫。
根據技術測試的情況,重新規劃的整體系統的構架如下:
系統為集中訪問的架構,各分行通過Intranet集中訪問總部的數據分析集市。交行采用ETL服務器DataStage從業務系統上抽取數據到ODS服務器的DB2數據庫上,然後進行ETL處理生成需要IQ需要的數據文件進行裝載,在IQ中更具需要進行一些匯總處理,分行或總行客戶端通過應用服務器直接訪問IQ數據庫的數據。
項目成果
客戶綜合信息系統,目前數據庫數據存儲超過 100GB,總共的應用用戶數量12000,平均在線用戶數量260人,每天增量加載數據量為3GB,數據匯總處理時間 30-60分鐘,每年新增數據存儲約300G。
系統的整體效率也獲得很大提升,整個批處理匯總處理時間由原來3小時減少到1小時; 目前系統最大的單表數據已逾3億,用戶對任意時段數據的查詢速度有了大規模的提高,其中95%查詢都是秒級內完成,只有5%左右的復雜查詢是分鐘級。
系統軟硬件平台
服務器:IBM P690, 8 CPU, 32G mem
磁盤陣列: EMC Symetrix
數據庫服務軟件: Sybase IQ v12.6 For AIX 64bit
客戶綜合信息系統,目前數據庫數據存儲超過 100GB,總共的應用用戶數量12000,平均在線用戶數量 260人,每天增量加載數據量為3GB,數據匯總處理時間30-60分鐘,每年新增數據存儲約300GB。