程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> SyBase數據庫 >> SyBase綜合文章 >> Sybase海量數據存儲、訪問及管理簡介

Sybase海量數據存儲、訪問及管理簡介

編輯:SyBase綜合文章

--Sybase VLDS(Very Large Data Store)解決方案及成功案例

海量數據是當今商業面對的一個現實

隨著信息化程度的提高,數據已超出它原始的范疇,它包含各種業務操作數據、報表統計數據、辦公文檔、電子郵件、超文本、表格、報告以及圖片、音視頻等各種數據信息。人們用海量數據來形容巨大的、空前浩瀚的、還在不斷增長的數據。

海量數據是當今商業面對的一個現實。任何一個企業都在面對其企業數據庫由於規模擴大產生的沉重負擔,提高海量數據訪問能力和業務分析能力的要求也變得越來越迫切。

· 數據爆炸。如今,需要企業進行管理的數據正在以指數級速度增長。分析人員發現,公司收集、存儲和分析的有關客戶、財務、產品和運營的數據,其增長率達125% 之多。各個方面的因素導致了數據的爆炸,如:網絡應用增加了數據的增長速度;監控點擊流需要存儲與以往相比越來越多的不同的數據類型;多媒體數據也增加了對存儲的要求;我們存儲並管理的不僅僅是數字和文字,還有視頻、音頻、圖像、臨時數據以及更多內容,這些數據的增長速度也在不斷地上升;數據倉庫和數據挖掘應用鼓勵企業存儲越來越長的時間段內越來越多的數據。這些實際情況導致的結果就是數據大量增加。

· 法規方面的要求。在會計丑聞的喚醒下,立法者和決策人施加了嚴格的新要求,幾乎影響到全球各家大型企業。法案要求公共公司遵守嚴格的金融記錄保持與報告法規。如果公司不能及時、可靠地訪問准確的財務信息,那麼它們將面臨罰款、調查、起訴、甚至更嚴厲的股東信心下降的威脅。這要求公司能提供對更多數據的不間斷訪問能力並進行更多的分析,這必然會延長數據的維護周期,增加數據容量。

· 非結構化數據應用的需要。結構化數據是指諸如企業財務賬目、客戶信息、業務操作數據等具有明顯結構化特性的數據。非結構化數據包括掃描文檔圖像、傳真、照片、計算機生成的報告、字處理文檔、電子表格、演示文稿、語音和視頻片段等。根據業界分析報告,非結構化數據占有整個信息量的85%以上,數據量及其龐大,是信息資源管理的核心。同樣,企業需要對非結構化數據進行存儲、檢索、過濾、提取、挖掘、分析等各方面應用。

· 歷史數據歸檔與訪問的需要。一般來說業務系統是用來處理業務交易的,為了使這些關鍵業務系統的性能不會受到嚴重影響,往往業務系統只存放短周期內的業務交易數據,大量的歷史數據都被備份到磁帶上,或者被轉移到其他存儲設備上靜態保存,當對它們運行SQL 查詢時再把它們從檔案環境中恢復出來。但是隨著企業對數據的重要性越來越重視,以及數據分析、數據挖掘的應用逐漸普及,歷史數據的訪問將變得重要、頻繁和直接。歷史數據的不斷積累,也對海量數據的存儲、管理和訪問提出了新的需求。

· 數據整合與數據分析的需要。當前,企業信息的存放具有數據結構多元化、存儲異構化的特點,企業的數據可能存儲在傳統系統、大型數據倉庫或具有計費、訂購、制造、分銷或其他功能的數據運營孤島上,因此會給訪問帶來極大的困難。數據整合與數據分析已經成為信息管理技術的應用熱點。只有在有效的數據整合基礎上,才能消除信息孤島,降低有效信息獲取的難度,通過對整合數據的分析和加工來獲得制定策略所必需的信息依據。

傳統的關系型數據庫面臨更大的挑戰

傳統的關系型數據庫在計算機數據管理的發展史上是一個重要的裡程碑,這種數據庫具有數據結構化、最低冗余度、較高的程序與數據獨立性、易於擴充、易於編制應用程序等優點,目前較大的信息系統都是建立在結構化數據庫設計之上的。

然而,隨著越來越多企業海量數據的產生,特別是Internet和Intranet技術的發展,使得非結構化數據的應用日趨擴大,以及對海量數據快速訪問、有效的備份恢復機制、實時數據分析等等的需求,傳統的關系數據庫從1970年發展至今,雖功能日趨完善,但在應對海量數據處理上仍有許多不足。

缺乏對海量數據的快速訪問能力

當你的競爭對手在周五下午宣布了新的價格體系,你所在機構的總裁在周一早晨之前想要一份對你公司有何影響的分析報告,業務分析員想做的最後一件事情是花費20分鐘等待整個表掃描和多表連接來獲得“如果……會怎麼樣”的查詢。因為沒有經過優化的查詢會耗費很長的時間;進行查詢的用戶,其需求需要按計劃執行;多個查詢會競爭CPU資源;並且業務需求經常被改變。所有這些都要求不斷調整優化數據庫或甚至重新設計數據庫。

缺乏海量數據訪問靈活性

在現實情況中,用戶在查詢時希望具有極大的靈活性。用戶可以提任何問題,可以針對任何數據提問題,可以在任何時間提問題。無論提的是什麼問題,都能快速得到回答。傳統的數據庫不能夠提供靈活的解決方法,不能對隨機性的查詢做出快速響應,因為它需要等待系統管理人員對特殊查詢進行調優,這導致很多公司不具備這種快速反應能力。

對非結構化數據處理能力薄弱

傳統的關系型數據庫對數據類型的處理只局限於數字、字符等,對多媒體信息的處理只是停留在簡單的二進制代碼文件的存儲。然而,隨著用戶應用需求的提高、硬件技術的發展和Intranet/Internet提供的多彩的多媒體交流方式,用戶對多媒體處理的要求從簡單的存儲上升為識別、檢索和深入加工,因此如何處理占信息總量85%的聲音、圖像、時間序列信號和視頻、E-mail等復雜數據類型,是很多數據庫廠家正面臨的問題。

海量數據導致存儲成本、維護管理成本不斷增加

大型企業都面臨著業務和IT投入的壓力,與以往相比,系統的性能/價格比更加受關注。GIGA研究表明,ROI(投資回報率)越來越受到重視。海量數據使得企業因為保存大量在線數據以及數據膨脹而需要在存儲硬件上大量投資,雖然存儲設備的成本在下降,但存儲的總體成本卻在不斷增加,並且正在成為最大的一筆IT開支之一。另一方面,海量數據使DBA陷入持續的數據庫管理維護工作當中。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved