|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14197
- 金币
- 2389
- 威望
- 1647
- 贡献
- 1337
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
- s( }0 b! J: ] M$ P6 F6 ^& m6 H; N7 b4 C' _
1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
- g( }# B4 c; R* y/ q3 k$ |
9 S, {' L9 O8 _ H* M Z% l 最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
/ f- T* \; w( K& W# j' f
+ U* l, N) n+ @6 r. @( Z 2、台湾，香港等地使用的是BIG5编码1 p6 A2 A( E2 M% G8 S8 B8 u8 T* q+ d
0 F% ^% i$ u. O* _& T1 \9 j* H) W; y 3、日本：SJIS编码
' W$ c8 {' l( |4 F z& F% R& U3 T1 @
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。% q; I2 L- F4 f) }
% B, f: e7 w- Y4 f) ~ 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
0 H: X) K+ @6 C5 Y& t. M2 C2 H* x( p% e8 `) K9 a- H3 \
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。0 e- I0 p+ c2 r+ G
) c( U3 n! A# b- J
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
4 a! U( t' X( o; ^3 P. G! o& y K: u& z
20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
6 Y; S! F, O; X$ l2 F% Q
0 S( [( T& H7 }' t5 K" j 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
4 p+ R; B V2 H9 t/ j" ]) _- Z$ I& t/ w3 [0 y k: d* l& P
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。8 Z( n/ |4 z/ r* r' L4 E, L
" Y# i) r4 Y8 t: X7 J
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
$ c" Q& R" \) B) }1 Q; E, B3 S+ C- d
codepage=936 简体中文GBK
0 B& B# s+ q4 z! B' S$ {4 F
9 ^' J$ z3 ~* H4 |3 j& p codepage=950 繁体中文BIG5
$ S D7 x$ H+ d6 H8 ^ s. t9 t9 i+ t$ j" O9 j0 Y
codepage=437 美国/加拿大英语
) ]; q4 T* ]+ e: p) ]0 N- h, `( J n" p/ y+ V; L1 I1 g
codepage=932 日文) ~! a- f6 M; V; ]4 A! X
, T* G7 s& }. x7 N) c3 F/ Z codepage=949 韩文! t3 L- M: q; E9 C! G
) M0 k3 T/ {3 @ N codepage=866 俄文, A- |. ?/ P9 K4 h w
6 U3 k( O8 ] O; y' ?. Q& q
codepage=65001 unicode UFT-8" ?2 _8 `6 g6 I. `3 ^
4 ^+ O0 ^& b5 N) D 最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。- x! s; [% k; n$ D! e# P) w% i
# l% g5 D5 u N9 d4 K 从936中随意取一行，例如：
" v7 E9 P# ?$ Z$ g( Q& w
: K+ s! e5 j/ F4 t 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
, f; _5 P' g V2 P) {1 ?3 K# u$ m# C T8 W% ~! S
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
# s8 E5 k% i4 p
( G; R+ i- C2 R& Z 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?) U7 V- r7 N" ]( W: a) H
7 }6 Q) }7 k* o& x ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
% `5 y* t8 g D% s2 Q8 Z2 W7 Y1 m" J& S h' C( I+ m+ d1 r
例：
: i% @0 p n0 w v9 T9 j
) V9 E% m: X# h1 w E4 BD A0 11100100 10111101 10100000
7 g8 v5 h* e- Z% K3 R+ e' r& |3 u
这是“你”字的UTF-8编码+ A$ N2 `" K$ l4 ] J% B8 f
9 y0 v0 w8 a% j" H3 `- F- q
4F 60 01001111 011000008 ]% t7 C$ s" N7 B* f( O! N
1 @# Q) E9 R+ F5 i6 u, \
这是“你”的Unicode编码
' O* b% k* \) G( U2 ^* I" e1 P, ^# x# O' p8 ~
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
S2 v. G6 `) m8 S
* K$ c$ E. x8 |! q# E; R 以下是Unicode和UTF-8之间的转换关系表： {; L/ _" }0 i1 Y6 _( o
2 b& N6 o8 @8 O1 P/ O* L
U-00000000 - U-0000007F: 0xxxxxxx
$ Q7 k. T O" v5 ]/ H! _/ l. t4 Y$ A- y2 l9 c ?- H
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
, W8 a; L3 w' I" x! D+ C; g, m6 n, J) ~: g7 T4 v
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
' w3 j( G% D6 d! X4 [ [
, M( a' \4 V1 i$ T* Q j U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx1 u8 @5 @* G' J' L# u
9 i( l! e/ {3 Y
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
* A/ ?5 w" x6 ]% s/ T, P' Y9 P4 H! b( R" ^
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx+ Q7 t( [; w: [' C
l; l8 P2 a" \2 h& H0 K
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 