程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> 網頁編程 >> PHP編程 >> 關於PHP編程 >> PHP對GB編碼動態轉UTF-8幾種方法評測

PHP對GB編碼動態轉UTF-8幾種方法評測

編輯:關於PHP編程

在《IP地址->地理位置轉換的測評》一文中提到用ip2addr函數直接讀取IP數據庫文件是效率最高的,相比用MySQL數據庫存儲IP數據,用SQL查詢是效率最低的。但是IP數據庫文件QQWry.dat是GB2312編碼的。現在我需要UTF-8編碼的地理位置結果。如果用MySQL方法,可以在數據存入數據庫時就轉換為UTF-8編碼,一勞永逸。但是QQWry.dat文件又無法修改,只能把ip2addr函數的輸出結果再進行動態轉換。

動態轉換GB->UTF-8編碼至少有四種方法:

用PHP的iconv擴展轉換

用PHP的mb_string擴展轉換

用對換表轉換,對換表存儲在MySQL數據庫中

用對換表轉換,對換表存儲在文本文件中

前兩種方法要服務器作了相應設置(編譯安裝了相應擴展)才能使用。我的虛擬主機沒有這兩個擴展,只好考慮後兩種方法。前兩個方法本文也不進行測評。

測評程序如下(func_ip.php參見《IP地址->地理位置轉換的測評》一文):

<?php
require_once ("func_ip.php");
function u2utf8($c) {
 $str = "";
 if ($c < 0x80) {
   $str .= $c;
 } elseif ($c < 0x800) {
   $str .= chr(0xC0 | $c >> 6);
   $str .= chr(0x80 | $c & 0x3F);
 } elseif ($c < 0x10000) {
   $str .= chr(0xE0 | $c >> 12);
   $str .= chr(0x80 | $c >> 6 & 0x3F);
   $str .= chr(0x80 | $c & 0x3F);
 } elseif ($c < 0x200000) {
   $str .= chr(0xF0 | $c >> 18);
   $str .= chr(0x80 | $c >> 12 & 0x3F);
   $str .= chr(0x80 | $c >> 6 & 0x3F);
   $str .= chr(0x80 | $c & 0x3F);
 }
 return $str;
}
function GB2UTF8_SQL($strGB) {
 if (!trim($strGB)) return $strGB;
 $strRet = "";
 $intLen = strlen($strGB);
 for ($i = 0; $i < $intLen; $i++) {
   if (ord($strGB{$i}) > 127) {
       $strCurr = substr($strGB, $i, 2);
       $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
       $strSql = "SELECT code_unicode FROM nnstats_gb_unicode
         WHERE code_gb = ".$intGB." LIMIT 1"
       ;
       $resResult = mysql_query($strSql);
       if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);
       else $strRet .= "??";
       $i++;
   } else {
       $strRet .= $strGB{$i};
   }
 }
 return $strRet;
}
function GB2UTF8_FILE($strGB) {
 if (!trim($strGB)) return $strGB;
 $arrLines = file("gb_unicode.txt");
 foreach ($arrLines as $strLine) {
   $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
 }
 $strRet = "";
 $intLen = strlen($strGB);
 for ($i = 0; $i < $intLen; $i++) {
   if (ord($strGB{$i}) > 127) {
       $strCurr = substr($strGB, $i, 2);
       $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
       if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);
       else $strRet .= "??";
       $i++;
   } else {
       $strRet .= $strGB{$i};
   }
 }
 return $strRet;
}
function EncodeIp($strDotquadIp) {
 $arrIpSep = explode(., $strDotquadIp);
 if (count($arrIpSep) != 4) return 0;
 $intIp = 0;  
 foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);
 return $intIp;
 //return sprintf(\%02x%02x%02x%02x, $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);
}
function GetMicroTime() {
 list($msec, $sec) = explode(" ", microtime());
 return ((double)$msec + (double)$sec);
}
for ($i = 0; $i < 100; $i++) { // 隨機產生100個ip地址
 $strIp = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);
 $arrAddr[$i] = ip2addr(EncodeIp($strIp));
}
$resConn = mysql_connect("localhost", "netnest", "netnest");
mysql_select_db("test");
// 測評MySQL查詢的編碼轉換
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
 $strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["region"]);
 $strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 測評結束並輸出結果
echo $dblTimeDuration; echo " ";
// 測評文本文件查詢的編碼轉換
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
 $strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["region"]);
 $strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 測評結束並輸出結果
echo $dblTimeDuration; echo " ";
?>

測評兩次結果(精確到3位小數,單位是秒):

MySQL查詢轉換:0.112
文本查詢轉換:10.590

MySQL查詢轉換:0.099
文本查詢轉換:10.623

可見這次是MySQL方法遙遙領先於文件查詢法。但是現在還不急於使用MySQL方法,因為文本文件方法之所以如此耗時,主要因為它每次轉換都要把整個gb_unicode.txt讀入內存,而gb_unicode.txt又是文本文件,格式如下:

0x2121   0x3000   # IDEOGRAPHIC SPACE
0x2122   0x3001   # IDEOGRAPHIC COMMA
0x2123   0x3002   # IDEOGRAPHIC FULL STOP
0x2124   0x30FB   # KATAKANA MIDDLE DOT
0x2125   0x02C9   # MODIFIER LETTER MACRON (Mandarin Chinese first tone)
……
0x552A   0x6458   # <CJK>
0x552B   0x658B   # <CJK>
0x552C   0x5B85   # <CJK>
0x552D   0x7A84   # <CJK>
……
0x777B   0x9F37   # <CJK>
0x777C   0x9F3D   # <CJK>
0x777D   0x9F3E   # <CJK>
0x777E   0x9F44   # <CJK>

文本文件效率較低,於是考慮把文本文件轉換為二進制文件,然後用折半法查找這個文件,而不需要把整個文件讀入內存。文件格式為:文件頭2字節,存儲記錄數;接著一條接一條記錄存入文件,每條記錄4字節,前2字節對應GB代碼,後2字節對應Unicode代碼。轉換程序如下:

<?php
$arrLines = file("gb_unicode.txt");
foreach ($arrLines as $strLine) {
 $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
}
ksort($arrCodeTable);
$intCount = count($arrCodeTable);
$strCount = chr($intCount % 256) . chr(floor($intCount / 256));
$fileGBU = fopen("gbu.dat", "wb");
fwrite($fileGBU, $strCount);
foreach ($arrCodeTable as $k => $v) {
 $strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));
 fwrite($fileGBU, $strData);
}
fclose($fileGBU);
?>
執行程序後就獲得了二進制的GB->Unicode對照表gbu.dat,並且數據記錄按GB代碼排了序,便於折半法查找。使用gbu.dat進行轉碼的函數如下:

function GB2UTF8_FILE1($strGB) {
 if (!trim($strGB)) return $strGB;
 $fileGBU = fopen("gbu.dat", "rb");
 $strBuf = fread($fileGBU, 2);
 $intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});
 $strRet = "";
 $intLen = strlen($strGB);
 for ($i = 0; $i < $intLen; $i++) {
   if (ord($strGB{$i}) > 127) {
       $strCurr = substr($strGB, $i, 2);
       $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
       $intStart = 1;
       $intEnd = $intCount;
       while ($intStart < $intEnd - 1) { // 折半法查找
         $intMid = floor(($intStart + $intEnd

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved