實現一個簡單的mysql帶權重的中文全文搜索

實現一個簡單的mysql帶權重的中文全文搜索
自己在寫一個web,希望對數據庫做全文檢索。但是google了解到，由於中文分詞的緣故，mysql只支持英文的全文搜索，想支持中文的，需要各種插件or實現一些比較復雜的機制，而買的虛擬主機並不支持這些復雜的東西。仔細想了下，因為自己需求的功能也比較簡單，主要是2個字段的搜索，且數據量不大，即便增加幾個字段，需要多運行幾個select也不會對速度有太大影響，所以通過一些work around實現了需求。

Step 1:用locate進行簡單的搜索
Locate可以判斷子串是否在子亂
有兩個column,一個name,一個description.
所以可以用LOCATE>0去判斷是否關鍵字在其中出現了。
其實就是
SELECT * FROM table WHERE LOCATE(key, 'name')>0 OR LOCATE(key, 'description);
這樣，我們就簡單實現了對某個key在兩個域的搜索

Step 2:搜索多個關鍵字
通常，搜索都是有多個關鍵字，所以我們需要對每個關鍵字，執行下Step1的查詢。（當然，也可以合成一個，這裡偷懶每次只查詢1個關鍵字）
然後，我們再將每次查詢出的數組都合並，這樣就得到了一個最終的集合。

php代碼如下：

function selectlocate($tarcols,$skey){
 
$where ="";
$connector = " ";
global $count;
foreach($tarcols as $tarcol ){
$where .= $connector;
$where .= "LOCATE('$skey', $tarcol) != 0  ";
if($connector == " "){
$connector = " OR ";
}
}

$sql = "SELECT * FROM pets_table WHERE $where";
$result = mysql_query($sql);
$ret = Array();
while($item = mysql_fetch_array($result, MYSQL_ASSOC)){
$count ++;
$ret[] = $item;
}
return $ret;
} 

Step 3：匹配的權重
上面Step2的結果，其實是無序的。通常，如果我們搜索一個字段：
1.如果這個字段和關鍵字完全相同，那麼一般來講，可能這個結果應該是相關度最高的
2.如果他只是其其中出現了一次，相關度就最低。
3.如果他出現的次數比在其他row中出現的次數高，那麼他的相關度就比2中的結果高
所以，搜索的時候依據這個順序考慮權重，
a.如果完全相等，權重為1000
b.如果出現1次，權重為10，出現n次
c.權重為n*10
每次搜索出來的結果附加上權重----》然後合並相同項----》並把權重累加
最後按權重排序，即可得到一個有排序的搜索結果。

以下是兩種1關鍵字對應1個字段（上面的代碼是1關鍵字多個字段）查詢的代碼（不包含合並兩個數組的代碼,相關的代碼在Step4中），只需遍歷每個關鍵字和字段，就能完成搜索

$count = 0;
 
function selectequal($col,$skey){
$connector = " ";
global $count;
$sql = "SELECT * FROM pets_table WHERE LOWER($col)=LOWER('$skey')";
$result = mysql_query($sql);
$ret = Array();
while($item = mysql_fetch_array($result, MYSQL_ASSOC)){
$count ++;
$item["weight"] = 1000;
$ret[] = $item;
}
return $ret;
}
function selectlocate($col,$skey){
global $count;
$sql = "SELECT *,(LENGTH(description) - LENGTH(REPLACE(description, '$skey', '')))/LENGTH('$skey') *10 as weight FROM pets_table WHERE LOCATE(LOWER('$skey'),LOWER($col))>0";
$result = mysql_query($sql);
$ret = Array();
while($item = mysql_fetch_array($result, MYSQL_ASSOC)){
$count ++;
$ret[] = $item;
}
return $ret;
} 

Step 4: 字段的權重
在我的需求中，顯然name這個字段比description更重要，所以在匹配時，對name字段的結果應該有所傾斜，所以，又可以增加一個對字段的權重系數。

1.如果是在name域的匹配，設系數為10；
2.如果是在description匹配，設系數為1；

將Step 3每次計算得出的權重，再乘上這個系數，就可以得到一個新的，更有效的權重值。
最後按權重排序，即可得到一個最有相關度排序的搜索結果

其他的細節：
如果一個關鍵字已經滿足了equal條件，那麼再使用locate條件的時候會依然返回一個結果，所以在使用locate條件的時候，過濾掉equal的情況

<?php
 
$count = 0;
function selectequal($col,$val,$skey){
$connector = " ";
global $count;
$sql = "SELECT * FROM pets_table WHERE LOWER($col)=LOWER('$skey')";
$result = mysql_query($sql);
$ret = Array();
while($item = mysql_fetch_array($result, MYSQL_ASSOC)){
$count ++;
$item["weight"] = 1000*$val;
$ret[] = $item;
}
return $ret;
}
function selectlocate($col,$val,$skey){
global $count;
$sql = "SELECT *,(LENGTH(description) - LENGTH(REPLACE(description, '$skey', '')))/LENGTH('$skey') *10*$val as weight FROM pets_table WHERE LOCATE(LOWER('$skey'),LOWER($col))>0 AND LOWER($col)!=LOWER('$skey')";
$result = mysql_query($sql);
$ret = Array();
while($item = mysql_fetch_array($result, MYSQL_ASSOC)){
$count ++;
$ret[] = $item;
}
return $ret;
}
function cleanarr($arr){
global $count;
$tmp = Array();
$tmpall = Array();
foreach($arr as $item){
if(array_key_exists($item['uid'], $tmp)){
$tmp[$item['uid']]+=$item["weight"];
}
else{
$tmp[$item['uid']] = $item["weight"];
$tmpall[$item['uid']] = $item;
}
}

//sort by weight in descending order 
arsort($tmp);

$ret = Array();

//rebuildthe return arary
$count = 0;
foreach($tmp as $k=>$v){
$count++;
$tmpall[$k]['weight']=$v;
$ret[]=$tmpall[$k];
}
return $ret;
}

require_once("consvr.php");


$colshash = array("name"=>10,"description"=>1);
$ret = Array();
$keywords=explode(" ", $keywords);
$cols = array_keys($colshash);
foreach($keywords as $keyword){
foreach($colshash as $col=>$val){
$ret = array_merge($ret,selectequal($col,$val, $keyword));
$ret = array_merge($ret,selectlocate($col,$val, $keyword));
}

}
$ret = cleanarr($ret);
$ret = array('msg' => "Success", 'count'=>$count,'children' => $ret, 'query'=>"COMPLEX:NOT READABLE");
echo json_encode($ret);
mysql_close();

?>