UTF-8 編碼中BOM的檢測與刪除
更新時間：2011年09月02日 13:29:40 作者：
所謂BOM，全稱是Byte Order Mark，它是一個Unicode字符，通常出現(xiàn)在文本的開頭，用來標(biāo)識字節(jié)序（Big/Little Endian），除此以外還可以標(biāo)識編碼（UTF-8/16/32），如果出現(xiàn)在文本中間，則解釋為zero width no-break space。
注：Unicode相關(guān)知識的詳細(xì)介紹請參考UTF-8, UTF-16, UTF-32 & BOM。
對于UTF-8/16/32而言，它們名字中的8/16/32指的是編碼單位是多少位的，也就是說，它們的編碼單位分別是8/16/32位，換算成字節(jié)就是1/2/4字節(jié)，如果是多字節(jié)，就要牽扯到字節(jié)序，UTF-8以單字節(jié)為編碼單位，所以不存在字節(jié)序。
UTF-8主要的優(yōu)點是可以兼容ASCII，但如果使用BOM的話，這個好處就蕩然無存了，除此以外，BOM的存在還可能引發(fā)一些問題，比如下面錯誤便都有可能是BOM導(dǎo)致的：
Shell: #!/bin/sh: No such file or directory
PHP: Warning: Cannot modify header information – headers already sent
在詳細(xì)討論UTF-8編碼中BOM的檢測與刪除問題前，不妨先通過一個例子熱熱身：
shell> curl -s http://phone.jb51.net/ | head -1 | sed -n l
\357\273\277<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional\
//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r$
如上所示，前三個字節(jié)分別是357、273、277，這就是八進制的BOM。
shell> curl -s http://phone.jb51.net/ | head -1 | hexdump -C
00000000 ef bb bf 3c 21 44 4f 43 54 59 50 45 20 68 74 6d |...<!DOCTYPE htm|
00000010 6c 20 50 55 42 4c 49 43 20 22 2d 2f 2f 57 33 43 |l PUBLIC "-//W3C|
00000020 2f 2f 44 54 44 20 58 48 54 4d 4c 20 31 2e 30 20 |//DTD XHTML 1.0 |
00000030 54 72 61 6e 73 69 74 69 6f 6e 61 6c 2f 2f 45 4e |Transitional//EN|
00000040 22 20 22 68 74 74 70 3a 2f 2f 77 77 77 2e 77 33 |" "http://www.w3|
00000050 2e 6f 72 67 2f 54 52 2f 78 68 74 6d 6c 31 2f 44 |.org/TR/xhtml1/D|
00000060 54 44 2f 78 68 74 6d 6c 31 2d 74 72 61 6e 73 69 |TD/xhtml1-transi|
00000070 74 69 6f 6e 61 6c 2e 64 74 64 22 3e 0d 0a |tional.dtd">..|
如上所示，前三個字節(jié)分別是EF、BB、BF，這就是十六進制的BOM。
注：用到了第三方網(wǎng)站的頁面，不能保證例子始終可用。
實際做項目開發(fā)時，可能會面對成百上千個文本文件，如果有幾個文件混入了BOM，那么很難察覺，如果沒有帶BOM的UTF-8文本文件例子，可以用vi杜撰幾個，相關(guān)命令如下：
#設(shè)置UTF-8編碼
:set fileencoding=utf-8
#添加BOM
:set bomb
#刪除BOM
:set nobomb
#查詢BOM
:set bomb?
如何檢測UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path
如何刪除UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path | xargs sed -i 's/^\xEF\xBB\xBF//;q'
推薦：如果你使用SVN的話，可以在pre-commit鉤子里加上相關(guān)代碼用以杜絕BOM。
#!/bin/sh
REPOS="$1"
TXN="$2"
SVNLOOK=/usr/bin/svnlook
FILES=`$SVNLOOK changed -t "$TXN" "$REPOS" | awk '/^[UA]/ {print $2}'`
for FILE in $FILES; do
if $SVNLOOK cat -t "$TXN" "$REPOS" "$FILE" | grep -q $'^\xEF\xBB\xBF'; then
echo "Byte Order Mark be found in $FILE" 1>&2
exit 1
fi
done
本文用到了很多shell命令，篇幅所限，恕不詳述，如果有不明白的就請自己搜索吧。
對于UTF-8/16/32而言，它們名字中的8/16/32指的是編碼單位是多少位的，也就是說，它們的編碼單位分別是8/16/32位，換算成字節(jié)就是1/2/4字節(jié)，如果是多字節(jié)，就要牽扯到字節(jié)序，UTF-8以單字節(jié)為編碼單位，所以不存在字節(jié)序。
UTF-8主要的優(yōu)點是可以兼容ASCII，但如果使用BOM的話，這個好處就蕩然無存了，除此以外，BOM的存在還可能引發(fā)一些問題，比如下面錯誤便都有可能是BOM導(dǎo)致的：
Shell: #!/bin/sh: No such file or directory
PHP: Warning: Cannot modify header information – headers already sent
在詳細(xì)討論UTF-8編碼中BOM的檢測與刪除問題前，不妨先通過一個例子熱熱身：
shell> curl -s http://phone.jb51.net/ | head -1 | sed -n l
\357\273\277<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional\
//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r$
如上所示，前三個字節(jié)分別是357、273、277，這就是八進制的BOM。
shell> curl -s http://phone.jb51.net/ | head -1 | hexdump -C
00000000 ef bb bf 3c 21 44 4f 43 54 59 50 45 20 68 74 6d |...<!DOCTYPE htm|
00000010 6c 20 50 55 42 4c 49 43 20 22 2d 2f 2f 57 33 43 |l PUBLIC "-//W3C|
00000020 2f 2f 44 54 44 20 58 48 54 4d 4c 20 31 2e 30 20 |//DTD XHTML 1.0 |
00000030 54 72 61 6e 73 69 74 69 6f 6e 61 6c 2f 2f 45 4e |Transitional//EN|
00000040 22 20 22 68 74 74 70 3a 2f 2f 77 77 77 2e 77 33 |" "http://www.w3|
00000050 2e 6f 72 67 2f 54 52 2f 78 68 74 6d 6c 31 2f 44 |.org/TR/xhtml1/D|
00000060 54 44 2f 78 68 74 6d 6c 31 2d 74 72 61 6e 73 69 |TD/xhtml1-transi|
00000070 74 69 6f 6e 61 6c 2e 64 74 64 22 3e 0d 0a |tional.dtd">..|
如上所示，前三個字節(jié)分別是EF、BB、BF，這就是十六進制的BOM。
注：用到了第三方網(wǎng)站的頁面，不能保證例子始終可用。
實際做項目開發(fā)時，可能會面對成百上千個文本文件，如果有幾個文件混入了BOM，那么很難察覺，如果沒有帶BOM的UTF-8文本文件例子，可以用vi杜撰幾個，相關(guān)命令如下：
#設(shè)置UTF-8編碼
:set fileencoding=utf-8
#添加BOM
:set bomb
#刪除BOM
:set nobomb
#查詢BOM
:set bomb?
如何檢測UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path
如何刪除UTF-8編碼中的BOM呢？
shell> grep -r -I -l $'^\xEF\xBB\xBF' /path | xargs sed -i 's/^\xEF\xBB\xBF//;q'
推薦：如果你使用SVN的話，可以在pre-commit鉤子里加上相關(guān)代碼用以杜絕BOM。
復(fù)制代碼 代碼如下:
#!/bin/sh
REPOS="$1"
TXN="$2"
SVNLOOK=/usr/bin/svnlook
FILES=`$SVNLOOK changed -t "$TXN" "$REPOS" | awk '/^[UA]/ {print $2}'`
for FILE in $FILES; do
if $SVNLOOK cat -t "$TXN" "$REPOS" "$FILE" | grep -q $'^\xEF\xBB\xBF'; then
echo "Byte Order Mark be found in $FILE" 1>&2
exit 1
fi
done
本文用到了很多shell命令，篇幅所限，恕不詳述，如果有不明白的就請自己搜索吧。
相關(guān)文章
如何通過阿里云實現(xiàn)動態(tài)域名解析DDNS的方法
這篇文章主要介紹了如何通過阿里云實現(xiàn)動態(tài)域名解析DDNS的方法,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
本文主要介紹了RIFF文件的格式和WAV音頻文件格式，為后面實現(xiàn)對WAVE文件的讀寫打一個理論基礎(chǔ)。后面打算使用C++標(biāo)準(zhǔn)庫，實現(xiàn)對WAV文件的讀寫2022-01-01
游戲開發(fā)進階Unity網(wǎng)格(Mesh\動態(tài)合批\骨骼動畫\蒙皮)
本篇文章是進階篇文章主要講解游戲開發(fā)進階，主要包含的技術(shù)有Mesh，動態(tài)合批，骨骼動畫，蒙皮下面一起進入Unity網(wǎng)格探險之旅吧2021-09-09
這篇文章主要介紹了詳解VSCode打開多個項目文件夾的解決方法,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
WEB性能測試工具主要分為三種，一種是測試頁面資源加載速度的，一種是測試頁面加載完畢后頁面呈現(xiàn)、JS操作速度的，還有一種是總體上對頁面進行評價分析，下面分別對這些工具進行介紹，如果誰有更好的工具也請一起分享下。2010-05-05
本文主要介紹Git 安裝配置，這里對Linux，Windows，Mac平臺的安裝做了詳細(xì)介紹，有需要的朋友可以參考下2016-09-09
這篇文章主要為大家介紹了詳解如何設(shè)置git命令縮寫，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-09-09
本文主要介紹了git?pull和git?clone的區(qū)別詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
網(wǎng)絡(luò)抓包工具wireshark入門教程詳解
Wireshark是一個網(wǎng)絡(luò)數(shù)據(jù)包分析軟件,功能非常強大，奈何他是英文版的，今天就為大家詳細(xì)介紹一下網(wǎng)絡(luò)抓包工具wireshark的使用教程2018-10-10
Istio?訪問外部服務(wù)流量控制最常用的5個技巧示例
這篇文章主要介紹了Istio訪問外部服務(wù)流量控制最常用5個技巧示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-06-06