Oracle text是Oracle的全文檢索技術,是9i版本標准版和企業版的一部分。Oracle text使用標准的sql語言索引、查找、分析存儲在oracle數據庫、文件或者網絡裡的文本及文檔。 Oracle text能進行關於文檔的語言分析,使用多種方法查找文檔,包括關鍵字、上下文查詢、邏輯操作、模式匹配、混合主題查詢、HTML/XML段落查找等方法。Oracle text在包含文本和結構化的關系屬性的混合查詢方面具有優越性。下面舉例說明。
現有文檔表ZYCONTENT_TABLE為上載文件的存儲表,二進制文件以BLOB類型存儲在BLOB_CONTENT列中,oracle text技術提供為BLOB列中的二進制文本文件建立索引的方法,細節如下:
一、准備工作
文檔表的模式為ZYFILEUP,文檔表為ZYCONTENT_TABLE。文檔表定義為:
CREATE TABLE ZYCONTENT_TABLE(
NAME VARCHAR(128) UNIQUE NOT NULL,
MIME_TYPE VARCHAR(128),
DOC_SIZE NUMBER,
DAD_CHARSET VARCHAR(128),
LAST_UPDATED DATE,
CONTENT_TYPE VARCHAR(128),
CONTENT LONG RAW,
BLOB_CONTENT BLOB
);
二、為擁有文檔表的模式建立文本索引授權
以system用戶連接數據庫,為ZYFILEUP授權。
GRANT "CTXAPP" TO "ZYFILEUP";
ALTER USER "ZYFILEUP" DEFAULT ROLE ALL;
GRANT EXECUTE ON "CTXSYS"."CTX_ADM" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_CATSEARCH" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_CONTAINS" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_DDL" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_DOC" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_QUERY" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_ULEXER" TO "ZYFILEUP";
GRANT EXECUTE ON "CTXSYS"."CTX_XPCONTAINS" TO "ZYFILEUP";
三、建立文檔表在BLOB_CONTENT列上的索引
以ZYFILEUP用戶連接數據庫,建立文本索引參考項
begin
ctx_ddl.create_preference('mylex','BASIC_LEXER');
ctx_ddl.set_attribute('mylex','printjoins','_-');
ctx_ddl.create_preference('mywordlist', 'BASIC_WORDLIST');
ctx_ddl.set_attribute('mywordlist','PREFIX_INDEX','TRUE');
ctx_ddl.set_attribute('mywordlist','PREFIX_MIN_LENGTH',1);
ctx_ddl.set_attribute('mywordlist','PREFIX_MAX_LENGTH', 5);
ctx_ddl.set_attribute('mywordlist','SUBSTRING_INDEX', 'YES');
end;
begin
ctx_ddl.create_preference('cnlex','CHINESE_LEXER');
end;
建立索引
drop index i_zycontent_table force;
create index i_zycontent_table on zycontent_table(blob_content)
indextype is ctxsys.context
parameters ('DATASTORE CTXSYS.DIRECT_DATASTORE
FILTER CTXSYS.INSO_FILTER
LEXER ZYFILEUP.CNLEX
WORDLIST ZYFILEUP.MYWORDLIST');
四、索引同步和刪除
同步索引的兩種方法:
ALTER INDEX i_zycontent_table REBUILD PARAMETERS('resume memory 20M');
和
exec ctx_ddl.sync_index('i_zycontent_table', '20M');
刪除索引的方法:
drop index i_zycontent_table force;
五、索引功能介紹
1.索引的文件類型
Oracle text可以過濾以及從不同格式的文檔裡提取內容,它支持150多種文檔格式,最常見的MS OFFICE文檔、PDF文檔等都可由Oracle text來檢索。
2.過濾器介紹
對於純文本文件格式,如TXT、HTML、XML等文件,使用空過濾器,即NULL_FILTER,對於二進制文件,使用INSO_FILTER過濾器,如果文檔表的BLOB列中含有二進制文件和純文本文件,也要用INSO_FILTER過濾器,但最好是把純文本和二進制文件分開存儲和索引。Oracle text還提供包來從二進制文件中提取文本到純文本文件中。
3.詞典
可以定制不同語言的詞典,該詞典含有同意詞和詞的級別關系。Oracle text可以提供多語言的最優特性以支持跨越西方語言、日語、朝鮮語、傳統和簡體中文所寫的文檔查找。
六、文本查詢語句格式
select name from zycontent_table
where contains(blob_content,'教育信息化',1)>0
order by name;
contains函數提供強大的查詢功能,"與"、"或"關系,相近(near ;)和排除(not ~)等功能,更方便的是它還可以根據某一關鍵詞查詢不同語種的文本,當然,這要事先設定詞典。
七、實際應用中的問題
在我的實際應用中,最常用的是使用Oracle text對Word、Excel、PowerPoint、HTML、PDF等格式的中文文檔進行索引,但我發現,無論使用INSO_FILTER還是NULL_FILTER,無論使用BASIC_LEXER還是CHINESE_LEXER,都不能檢索RTF格式的文本文檔,我在win2000,XP下試驗,都沒成功,不知什麼原因。總體來說,Oracle text的文本檢索功能還是相當出色的,它甚至不需要文本文件存儲在數據庫裡,即使存儲在操作系統的文件目錄裡,Oracle text也能在數據庫裡為文件建立索引。