Sphinx安裝配置應用，sphinx安裝配置

Sphinx安裝配置應用，sphinx安裝配置

Sphinx 是由俄羅斯人Andrew Aksyonoff開發的一個全文搜索引擎。意圖為其他應用提供高速、地空間占用、高結果相關度的全文搜索功能。Sphinx可以非常容易的與SQL數據庫和腳本語言集成。當前系統內置的MysqL和PostgreSQL數據庫數據源的支持，也支持從標准輸入讀取特定格式的xml數據。通過修改源碼，可以自行增加新的數據源（例如：其他類型的DBMS的原生支持）

1、Sphinx中文分詞

中文的全文檢索是根據語義來分詞，目前大多數數據庫尚未支持中文全文檢索，如Mysql。Sphinx如果需要對中文進行全文檢索，也得需要一些插件來補充，比如coreseek和sfc。

• Coreseek是現在用的最多的sphinx中文全文檢索，它提供了為Sphinx設計的中文分詞包LibMMSeg 。並提供了多個系統的二進制發行版，其中有rpm,deb及windows下的二進制包。
• sfc（sphinx-for-chinese）是由網友happy兄提供的另外一個中文分詞插件。其中文詞典采用的是xdict。據其介紹,經過測試，目前版本在索引速度上(Linux 測試平台)基本上能夠達到索引UTF-8英文的一半，即官方宣稱速度的一半。（時間主要是消耗在分詞上）。

 2、安裝

Sphinx在mysql上的應用有兩種方式：
（1）采用API調用，如使用PHP、java等的API函數或方法查詢。優點是可不必對mysql重新編譯，服務端進程“低耦合”，且程序可靈活、方便的調用；缺點是如已有搜索程序的條件下，需修改部分程序。推薦程序員使用。
（2）使用插件方式（sphinxSE）把sphinx編譯成一個mysql插件並使用特定的sql語句進行檢索。其特點是，在sql端方便組合，且能直接返回數據給客戶端不必二次查詢（注）,在程序上僅需要修改對應的sql，但這對使用框架開發的程序很不方便，比如使用了ORM。另外還需要對mysql進行重新編譯，且需要mysql-5.1以上版本支持插件存儲。系統管理員可使用這種方式。

采用第一種方式進行安裝:

軟件環境：

• 操作系統：Centos-5.2
• 數據庫：mysql-5.0.77-3.el5 mysql-devel（如果要使用sphinxSE插件存儲請使用mysql-5.1以上版本）
• 編譯軟件：gcc gcc-c++ autoconf automake
• Sphinx ：Sphinx-0.9.9 (最新穩定版 )

安裝：

• [root@localhost ~]# yum install -y mysql mysql-devel
• [root@localhost ~]# yum install -y automake autoconf
• [root@localhost ~]# cd /usr/local/src/
• [root@localhost src]# wget http://www.sphinxsearch.com/downloads/sphinx-0.9.9.tar.gz
• [root@localhost src]# tar zxvf sphinx-0.9.9.tar.gz
• [root@localhost local]# cd sphinx-0.9.9
• [root@localhost sphinx-0.9.9]# ./configure –prefix=/usr/local/sphinx #注意：這裡sphinx已經默認支持了mysql
• [root@localhost sphinx-0.9.9]# make && make install # 其中的“警告”可以忽略

安裝完畢後查看一下/usr/local/sphinx下是否有 三個目錄 bin etc var，如有，則安裝無誤！

sfc 安裝

coreseek安裝

3、配置

• [root@localhost ~]#cd /usr/local/sphinx/etc #進入sphinx的配置文件目錄
• [root@localhost etc]# cp sphinx.conf.dist sphinx.conf #新建Sphinx配置文件
• [root@localhost etc]# vim sphinx.conf #編輯sphinx.conf

具體實例配置文件：

##### 索引源 ###########
source article_src
{
type = mysql    #####數據源類型
sql_host = 192.168.1.10    ######mysql主機
sql_user = root   ########mysql用戶名
sql_pass = pwd############mysql密碼
sql_db = test #########mysql數據庫名
sql_port= 3306 ###########mysql端口
sql_query_pre = SET NAMES UTF8 ###mysql檢索編碼，特別要注意這點，很多人中文檢索不到是數據庫的編碼是GBK或其他非UTF8
sql_query = SELECT id,title,cat_id,member_id,content,created FROM sphinx_article ####### 獲取數據的sql

#####以下是用來過濾或條件查詢的屬性############

sql_attr_uint = cat_id ######## 無符號整數屬性
sql_attr_uint = member_id
sql_attr_timestamp = created ############ UNIX時間戳屬性

sql_query_info = select * from sphinx_article where id=$id ######### 用於命令界面端(CLI)調用的測試

}

### 索引 ###

index article
{
source = article_src ####聲明索引源
path = /usr/local/sphinx/var/data/article #######索引文件存放路徑及索引的文件名
docinfo = extern ##### 文檔信息存儲方式
mlock = 0 ###緩存數據內存鎖定
morphology = none #### 形態學（對中文無效）
min_word_len = 1 #### 索引的詞最小長度
charset_type = utf-8 #####數據編碼

##### 字符表，注意：如使用這種方式，則sphinx會對中文進行單字切分，
##### 即進行字索引，若要使用中文分詞，必須使用其他分詞插件如 coreseek，sfc

charset_table = U+FF10..U+FF19->0..9, 0..9, U+FF41..U+FF5A->a..z, U+FF21..U+FF3A->a..z

}

######### 索引器配置 #####
indexer
{
mem_limit = 256M ####### 內存限制
}

############ sphinx 服務進程 ########
searchd
{
#listen = 9312 ### 監聽端口，在此版本開始，官方已在IANA獲得正式授權的9312端口，以前版本默認的是3312

log = /usr/local/sphinx/var/log/searchd.log #### 服務進程日志 ，一旦sphinx出現異常，基本上可以從這裡查詢有效信息，輪換（rotate）出的問題一般可在此尋到答案
query_log = /usr/local/sphinx/var/log/query.log ### 客戶端查詢日志，筆者注：若欲對一些關鍵詞進行統計，可以分析此日志文件
read_timeout = 5 ## 請求超時
max_children = 30 ### 同時可執行的最大searchd 進程數
pid_file = /usr/local/sphinx/var/log/searchd.pid #######進程ID文件
max_matches = 1000 ### 查詢結果的最大返回數
seamless_rotate = 1 ### 是否支持無縫切換，做增量索引時通常需要
}

4、建索引

[root@localhost sphinx]# bin/indexer -c etc/sphinx.conf article ### 建立索引文件的命令
Sphinx 0.9.9-release (r2117)
Copyright (c) 2001-2009, Andrew Aksyonoff

using config file ‘etc/sphinx.conf’…
indexing index ‘article’…
collected 1000 docs, 0.2 MB
sorted 0.4 Mhits, 99.6% done
total 1000 docs, 210559 bytes
total 3.585 sec, 58723 bytes/sec, 278.89 docs/sec
total 2 reads, 0.031 sec, 1428.8 kb/call avg, 15.6 msec/call avg
total 11 writes, 0.032 sec, 671.6 kb/call avg, 2.9 msec/call avg

5、應用

在上一步中，我們建立了索引，現在我們對剛建立的索引進行測試。測試有兩種方式：CLI端和API調用

（1）在CLI端上命令測試是使用sphinx自帶的搜索命令：search

[root@localhost sphinx]# bin/search -c etc/sphinx.conf 劉利
Sphinx 0.9.9-release (r2117)
Copyright (c) 2001-2009, Andrew Aksyonoff

using config file ‘etc/sphinx.conf’…

index 'mdmLoginLog': query '劉利 ': returned 6 matches of 6 total in 0.000 sec

displaying matches:
1. document=2, weight=2
2. document=3, weight=2
3. document=4, weight=2
4. document=5, weight=2
5. document=7, weight=2
6. document=8, weight=2

words:
1. '劉': 6 documents, 6 hits
2. '利': 6 documents, 6 hits

（2）使用PHP的api來測試，在測試前，先啟動sphinx服務進程，並對centos的防火牆做好9312端口的開放

[root@localhost sphinx]# bin/searchd -c etc/sphinx.conf & ### 使sphinx在後台運行
[1] 5759
[root@localhost sphinx]# Sphinx 0.9.9-release (r2117)
Copyright (c) 2001-2009, Andrew Aksyonoff

using config file ‘etc/sphinx.conf’…
listening on all interfaces, port=9312

[1]+ Done bin/searchd -c etc/sphinx.conf

參考 http://www.sphinxsearch.org/sphinx-tutorial