昨天同事遇到一個奇怪的問題,就是以下代碼,無法通過JSON校驗,也無法通過PHP的json_decode函數解析。
復制代碼 代碼如下:
[
{
"title": "",
"pinyin": ""
}
]
可能聰明的你已經猜到其中包含有不看見的特殊字符,在vim下查看:
復制代碼 代碼如下:
[
{
<feff>"title": "",
"pinyin": ""
}
]
發現在“title”前面有一個字符<feff>,如果你之前了解過BOM,應該知道這個特殊字符就是BOM,關於其介紹可以參考另一篇文章:計算機中的字符串編碼、亂碼、BOM等問題詳解.
在Linux下通過xxd命令查看文件內容的十六進制:
復制代碼 代碼如下:
0000000: 5b 0a 20 20 20 20 7b 0a 20 20 20 20 20 20 20 20 [. {.
0000010: ef bb bf 22 74 69 74 6c 65 22 3a 20 22 22 2c 0a ..."title": "",.
0000020: 20 20 20 20 20 20 20 20 22 70 69 6e 79 69 6e 22 "pinyin"
0000030: 3a 20 22 22 0a 20 20 20 20 7d 0a 5d 0a : "". }.].
可以看到剛才那個"title"前面的特殊字符十六進制為:ef bb bf,正是標記UTF-8的BOM。BOM的含義如下:
復制代碼 代碼如下:
開頭字節 Charset/encoding
EF BB BF UTF-8
FE FF UTF-16/UCS-2, little endian(UTF-16LE)
FF FE UTF-16/UCS-2, big endian(UTF-16BE)
FF FE 00 00 UTF-32/UCS-4, little endian.
00 00 FE FF UTF-32/UCS-4, big-endia
發現問題解決就很容易了,查找刪除BOM就OK了,linux下BOM相關的命令有:
VIM的BOM操作
復制代碼 代碼如下:
#添加BOM
:set bomb
#刪除BOM
:set nobomb
#查詢BOM
:set bomb?
查找UTF-8編碼中的BOM
復制代碼 代碼如下:grep -I -r -l $'\xEF\xBB\xBF' /path
還可以在svn的鉤子中禁止提交BOM(以下代碼來自網絡,沒校驗)
復制代碼 代碼如下:
#!/bin/sh
REPOS="$1"
TXN="$2"
SVNLOOK=/usr/bin/svnlook
FILES=`$SVNLOOK changed -t "$TXN" "$REPOS" | awk {'print $2'}`
for FILE in $FILES; do
CONTENT=`$SVNLOOK cat -t "$TXN" "$REPOS" "$FILE"`
if echo $CONTENT | head -c 3 | xxd -i | grep -q '0xef, 0xbb, 0xbf'; then
echo "BOM!" 1>&2
exit 1
fi
done
最後提醒大家在wowdows下最好別使用記事本等會自動添加BOM的編輯器修改代碼,容易引發一些問題。