字符集是多個字符的集合,字符集種類較多,每個字符集包含的字符個數不同,常見字符集名稱:ASCII字符集、GB2312字符集、BIG5字符集、 GB 18030字符集、Unicode字符集等。計算機要准確的處理各種字符集文字,需要進行字符編碼,以便計算機能夠識別和存儲各種文字。
中文文字數目大,而且還分為簡體中文和繁體中文兩種不同書寫規則的文字,而計算機最初是按英語單字節字符設計的,因此,對中文字符進行編碼,是中文信息交流的技術基礎。本文將按照字符集的時間順序討論幾種典型的字符集,選取幾種代表性的中文字符集,研究歷史由來、特點、技術特征。
ASCII 字符集
1.名稱的由來
ASCII(American Standard Code for Information Interchange,美國信息互換標准代碼)是基於羅馬字母表的一套電腦編碼系統。
2.特點
它主要用於顯示現代英語和其他西歐語言。它是現今最通用的單字節編碼系統,並等同於國際標准ISO 646。
3.包含內容
控制字符:回車鍵、退格、換行鍵等。
可顯示字符:英文大小寫字符、阿拉伯數字和西文符號
4.技術特征
7位(bits)表示一個字符,共128字符
5.ASCII擴展字符集
7位編碼的字符集只能支持128個字符,為了表示更多的歐洲常用字符對ASCII進行了擴展,ASCII擴展字符集使用8位(bits)表示一個字符,共256字符。
ASCII擴展字符集比ASCII字符集擴充出來的符號包括表格符號、計算符號、希臘字母和特殊的拉丁符號。
GB2312 字符集
1.名稱的由來
GB2312又稱為GB2312-80字符集,全稱為《信息交換用漢字編碼字符集·基本集》,由原中國國家標准總局發布,1981年5月1日實施。
2.特點
GB2312是中國國家標准的簡體中文字符集。它所收錄的漢字已經覆蓋99.75%的使用頻率,基本滿足了漢字的計算機處理需要。在中國大陸和新加坡獲廣泛使用。
3.包含內容
GB2312收錄簡化漢字及一般符號、序號、數字、拉丁字母、日文假名、希臘字母、俄文字母、漢語拼音符號、漢語注音字母,共 7445 個圖形字符。其中包括6763個漢字,其中一級漢字3755個,二級漢字3008個;包括拉丁字母、希臘字母、日文平假名及片假名字母、俄語西裡爾字母在內的682個全角字符。
4.技術特征
(1)分區表示:
GB2312中對所收漢字進行了“分區”處理,每區含有94個漢字/符號。這種表示方式也稱為區位碼。
各區包含的字符如下:01-09區為特殊符號;16-55區為一級漢字,按拼音排序;56-87區為二級漢字,按部首/筆畫排序;10-15區及88-94區則未有編碼。
(2)雙字節表示
兩個字節中前面的字節為第一字節,後面的字節為第二字節。習慣上稱第一字節為“高字節” ,而稱第二字節為“低字節”。
“高位字節”使用了0xA1-0xF7(把01-87區的區號加上0xA0),“低位字節”使用了0xA1-0xFE(把01-94加上0xA0)。
5.編碼舉例
以GB2312字符集的第一個漢字“啊”字為例,它的區號16,位號01,則區位碼是1601,在大多數計算機程序中,高字節和低字節分別加0xA0得到程序的漢字處理編碼0xB0A1。計算公式是:0xB0=0xA0+16, 0xA1=0xA0+1。
BIG5 字符集
1.名稱的由來
又稱大五碼或五大碼,1984年由台灣財團法人信息工業策進會和五間軟件公司宏碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大眾 (FIC)創立,故稱大五碼。
Big5碼的產生,是因為當時台灣不同廠商各自推出不同的編碼,如倚天碼、IBM PS55、王安碼等,彼此不能兼容;另一方面,台灣政府當時尚未推出官方的漢字編碼,而中國大陸的GB2312編碼亦未有收錄繁體中文字。
2.特點
Big5字符集共收錄13,053個中文字,該字符集在中國台灣使用。耐人尋味的是該字符集重復地收錄了兩個相同的字:“兀”(0xA461及0xC94A)、“嗀”(0xDCD1及0xDDFC)。
3.字符編碼方法
Big5碼使用了雙字節儲存方法,以兩個字節來編碼一個字。第一個字節稱為“高位字節”,第二個字節稱為“低位字節”。高位字節的編碼范圍0xA1-0xF9,低位字節的編碼范圍0x40-0x7E及0xA1-0xFE。
各編碼范圍對應的字符類型如下:0xA140-0xA3BF為標點符號、希臘字母及特殊符號,另外於0xA259-0xA261,存放了雙音節度量衡單位用字:兙兛兞兝兡兣嗧瓩糎;0xA440-0xC67E為常用漢字,先按筆劃再按部首排序;0xC940-0xF9D5為次常用漢字,亦是先按筆劃再按部首排序。
4.Big5 的局限性
盡管Big5碼內包含一萬多個字符,但是沒有考慮社會上流通的人名、地名用字、方言用字、化學及生物科等用字,沒有包含日文平假名及片假名字母。
例如台灣視“著”為“著”的異體字,故沒有收錄“著”字。康熙字典中的一些部首用字(如“亠”、“疒”、“辵”、“癶”等)、常見的人名用字(如“堃”、“煊”、“栢”、“喆”等) 也沒有收錄到Big5之中。
GB18030 字符集
1.名稱的由來
GB 18030的全稱是GB18030-2000《信息交換用漢字編碼字符集基本集的擴充》,是我國政府於2000年3月17日發布的新的漢字編碼國家標准,2001年8月31日後在中國市場上發布的軟件必須符合本標准
2.特點
GB 18030字符集標准的出台經過廣泛參與和論證,來自國內外知名信息技術行業的公司,信息產業部和原國家質量技術監督局聯合實施。
GB 18030字符集標准解決漢字、日文假名、朝鮮語和中國少數民族文字組成的大字符集計算機編碼問題。該標准的字符總編碼空間超過150萬個編碼位,收錄了27484個漢字,覆蓋中文、日文、朝鮮語和中國少數民族文字。滿足中國大陸、香港、台灣、日本和韓國等東亞地區信息交換多文種、大字量、多用途、統一編碼格式的要求。並且與Unicode 3.0版本兼容,填補Unicode擴展字符字匯“統一漢字擴展A”的內容。並且與以前的國家字符編碼標准(GB2312,GB13000.1)兼容。
3.編碼方法
GB 18030標准采用單字節、雙字節和四字節三種方式對字符編碼。單字節部分使用0×00至0×7F碼(對應於ASCII碼的相應碼)。雙字節部分,首字節碼從0×81至0×FE,尾字節碼位分別是0×40至0×7E和0×80至0×FE。四字節部分采用GB/T 11383未采用的0×30到0×39作為對雙字節編碼擴充的後綴,這樣擴充的四字節編碼,其范圍為0×81308130到0×FE39FE39。其中第一、三個字節編碼碼位均為0×81至0×FE,第二、四個字節編碼碼位均為0×30至0×39。
4.包含的內容
雙字節部分收錄內容主要包括GB13000.1全部CJK漢字20902個、有關標點符號、表意文字描述符13個、增補的漢字和部首/構件80個、雙字節編碼的歐元符號等。 四字節部分收錄了上述雙字節字符之外的,包括CJK統一漢字擴充A在內的GB 13000.1中的全部字符。
Unicode字符集
1.名稱的由來
Unicode字符集編碼是Universal Multiple-Octet Coded Character Set 通用多八位編碼字符集的簡稱,是由一個名為 Unicode 學術學會(Unicode Consortium)的機構制訂的字符編碼系統,支持現今世界各種不同語言的書面文本的交換、處理及顯示。該編碼於1990年開始研發,1994年正式公布,最新版本是2005年3月31日的Unicode 4.1.0。
2.特征
Unicode是一種在計算機上使用的字符編碼。它為每種語言中的每個字符設定了統一並且唯一的二進制編碼,以滿足跨語言、跨平台進行文本轉換、處理的要求。
3.編碼方法
Unicode 標准始終使用十六進制數字,而且在書寫時在前面加上前綴“U+”,例如字母“A”的編碼為 004116 和字符“?”的編碼為 20AC16。所以“A”的編碼書寫為“U+0041”。
4.UTF-8 編碼
UTF-8是Unicode的其中一個使用方式。 UTF是 Unicode Translation Format,即把Unicode轉做某種格式的意思。
UTF-8便於不同的計算機之間使用網絡傳輸不同語言和編碼的文字,使得雙字節的Unicode能夠在現存的處理單字節的系統上正確傳輸。
UTF-8使用可變長度字節來儲存 Unicode字符,例如ASCII字母繼續使用1字節儲存,重音文字、希臘字母或西裡爾字母等使用2字節來儲存,而常用的漢字就要使用3字節。輔助平面字符則使用4字節。
5.UTF-16 和 UTF-32 編碼
UTF-32、UTF-16 和 UTF-8 是 Unicode 標准的編碼字符集的字符編碼方案,UTF-16 使用一個或兩個未分配的 16 位代碼單元的序列對 Unicode 代碼點進行編碼;UTF-32 即將每一個 Unicode 代碼點表示為相同值的 32 位整數。
php 各種應用亂碼問題的解決方法
1) 使用 標簽設置頁面編碼
這個標簽的作用是聲明客戶端的浏覽器用什麼字符集編碼顯示該頁面,xxx 可以為 GB2312、GBK、UTF-8(和 MySQL 不同,MySQL 是 UTF8)等等。因此,大部分頁面可以采用這種方式來告訴浏覽器顯示這個頁面的時候采用什麼編碼,這樣才不會造成編碼錯誤而產生亂碼。但是有的時候我們會發現有了這句還是不行,不管 xxx 是哪一種,浏覽器采用的始終都是一種編碼,這個情況我後面會談到。
請注意, 是屬於 HTML 信息的,僅僅是一個聲明,僅表明服務器已經把 HTML 信息傳到了浏覽器。
2) header("content-type:text/html; charset=xxx");
這個函數 header() 的作用是把括號裡面的信息發到 http 標頭。如果括號裡面的內容為文中所說那樣,那作用和 標簽基本相同,大家對照第一個看發現字符都差不多的。但是不同的是如果有這段函數,浏覽器就會永遠采用你所要求的 xxx 編碼,絕對不會不聽話,因此這個函數是很有用的。為什麼會這樣呢?那就得說說 http 標頭和 HTML信息的差別了:
http 標頭是服務器以 http 協議傳送 HTML 信息到浏覽器前所送出的字串。而 標簽是屬於 HTML 信息的,所以 header() 發送的內容先到達浏覽器,通俗點就是 header() 的優先級高於 (不知道可不可以這樣講)。假如一個 php 頁面既有header("content-type:text/html;charset=xxx"),又有,浏覽器就只認前者 http 標頭而不認 meta 了。當然這個函數只能在 php 頁面內使用。
同樣也留有一個問題,為什麼前者就絕對起作用,而後者有時候就不行呢?這就是接下來要談的Apache 的原因了。
3) AddDefaultCharset
Apache 根目錄的 conf 文件夾裡,有整個 Apache 的配置文檔 httpd.conf。
用文本編輯器打開 httpd.conf,第 708 行(不同版本可能不同)有 AddDefaultCharset xxx,xxx為編碼名稱。這行代碼的意思:設置整個服務器內的網頁文件 http 標頭裡的字符集為你默認的 xxx字符集。有這行,就相當於給每個文件都加了一行 header("content-type:text/html; charset=xxx")。這下就明白為什麼明明 設置了是 utf-8,可浏覽器始終采用 gb2312 的原因。
如果網頁裡有 header("content-type:text/html; charset=xxx"),就把默認的字符集改為你設置的字符集,所以這個函數永遠有用。如果把 AddDefaultCharset xxx 前面加個"#",注釋掉這句,而且頁面裡不含 header("content-type…"),那這個時候就輪到 meta 標簽起作用了。
下面列出以上的優先順序:
header("content-type:text/html; charset=xxx")
.. AddDefaultCharset xxx
..
如果你是 web 程序員,建議給你的每個頁面都加個header("content-type:text/html;charset=xxx"),這樣就可以保證它在任何服務器都能正確顯示,可移植性也比較強。
4) php.ini 中的 default_charset 配置:
php.ini 中的 default_charset = "gb2312" 定義了 php 的默認語言字符集。一般推薦注釋掉此行,讓浏覽器根據網頁頭中的 charset 來自動選擇語言而非做一個強制性的規定,這樣就可以在同台服務器上提供多種語言的網頁服務。