|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14221
- 金币
- 2401
- 威望
- 1647
- 贡献
- 1349
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：. u1 Q* @0 ~" r- s/ C
0 j( E& k* K Q, s/ D 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
% [) X! k, m; Q, b, e
+ e/ B6 o# Q2 `3 f2 q$ X: o H 最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
1 u- U" U, h. P7 M; |2 {# o: H& Z: H' D9 a
2、台湾，香港等地使用的是BIG5编码: o3 J4 G6 D. T! i: E
9 E- j. C+ E. s# M# f6 ?- W8 b/ C
3、日本：SJIS编码2 ^5 B' {* n- c' t
" S9 I: F4 F4 W6 _* ~
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
5 ?9 |9 U a3 ~: U2 u1 z# Z6 o- w+ F. W9 C4 g5 [% F, m! P
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。3 k+ ^* a& Y* m) l2 @! Z
! _6 u# j1 M; j! A Z: u- \; y Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。$ d9 A! J& s( a! }5 k5 I3 r3 f
/ n6 t8 e4 _9 l5 J% u 现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面5 e& h% j- M: j
6 B- h# D, t7 N; X 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF
) ?6 p+ I) } J1 S7 S! K" N$ [: {) v1 N7 f% D' I2 \4 [6 c
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。( @( \, Q( w6 F7 q. O1 p6 w! i
3 L% O; q% t9 E$ W) }0 `9 A
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。1 _/ P8 A. D$ O" D+ V& o
7 B" j3 [4 ^# U8 r- V' P
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。! [9 l. U W4 I% V2 U7 r) Z$ j
- K' i6 T1 ~! ?9 }. K+ U
codepage=936 简体中文GBK3 O; w) n) G, A4 a" z1 b, ?$ F
2 X8 j" s% H- g S3 G) q: o codepage=950 繁体中文BIG5
4 Z% s) r% ]' _0 _# d
: y: H( b! E1 Y& Z codepage=437 美国/加拿大英语$ c- `' u. [ O, K- L( k0 m
/ b$ y9 r. f4 M; C
codepage=932 日文; g3 p% Q' V* {6 g( p* U
! M$ |% C6 \" O* B1 A codepage=949 韩文
5 {; o: F% q. T' w- ~. O: d u+ I* q$ k
codepage=866 俄文
4 a% @, O4 |$ N; g' t+ P( I9 w
4 n4 h) c+ N& q5 X codepage=65001 unicode UFT-8$ ? ?$ h5 }; C
% u0 }: A0 B7 H' j) Z( f 最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。" a1 M8 n# }$ }" \) U8 ^! ~# D! q
" K9 ]8 s8 O! P7 S; X
从936中随意取一行，例如：. l/ o- y s2 W4 k$ v5 Y! ]2 v
3 g1 ?4 g* k/ P$ H, ?7 V& w7 S
0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH6 n: g; J) n4 c8 h
; O6 o$ O# D( i/ B6 j
前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。
$ y. I' E+ I* ?/ A& _0 w! L. u" C# I
现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?9 t9 @7 k: Y* w, d3 r( H
# U4 E# Y# j/ V! W$ E# R
ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
# T% s% H5 D3 V: H0 f" g9 i
, y M( b" ]8 V0 C, v 例：9 V) }6 Z$ h& s* p& U
" x' x6 l5 V+ M# A
E4 BD A0 11100100 10111101 10100000' _1 b7 B6 @" l& T9 `* o! ?
) j& U$ N- J6 W2 t
这是“你”字的UTF-8编码; c, W0 _) B5 d7 S. P9 ^6 B j: I
& Y6 u" H. H% e 4F 60 01001111 01100000- |2 e* H: W& Y2 U8 j/ z
& n$ r) N3 l; S/ e) D
这是“你”的Unicode编码
% J, y; V; r% ?$ \0 |0 } a5 O. }. T9 S* q$ b; M& S
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。3 }) Q0 x0 ~- E
5 q6 z/ y8 o/ o! G* n* L$ F6 n* \ 以下是Unicode和UTF-8之间的转换关系表：
4 f. N2 S, X5 X7 x2 w# s' m* {5 r: F b% V% s3 w( C
U-00000000 - U-0000007F: 0xxxxxxx; U8 l5 k- s; x3 {
9 j, Z' s5 J1 r
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx5 e2 s- L- F" D+ A
( g" ^- }3 f* {6 m' M/ Z
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx6 ?+ ^3 d5 h4 j0 [9 U! \( ?7 q8 D, a6 Q8 f
. U+ `# m1 L. S; D; s! `
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
* O# O7 \1 b3 I) V2 u: i9 D5 o5 L! A$ J9 H% _. e' `" E
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
' L) r5 o3 q+ w9 R; J/ a" g) M4 n; J. U# t# k. w6 s
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
$ L0 J6 d2 C1 K' I6 ~# {5 Y
! }3 j g6 ]; h Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 