|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14347
- 金币
- 2459
- 威望
- 1647
- 贡献
- 1407
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
" I: M c- s$ N' S% x9 S- Y2 ?1 w1 L6 A- N
1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。, Q: e9 e; e) t$ _" k- ]1 ^
( K! |% O' b5 `
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。
g0 A1 K% y* w
: y" Z8 _2 o. K5 T% _1 s 2、台湾，香港等地使用的是BIG5编码4 b [' W, o* Q3 N0 o- b2 X
% f9 b1 z3 q9 w6 G 3、日本：SJIS编码/ r' \; m8 h0 s
|1 p# {4 U8 H# C$ ~3 N 如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
" L. \8 k2 @5 f0 q+ T9 Y* D6 O, x8 Z+ R( l# p) V* j5 t
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。1 Q3 b; U2 W+ g7 ~5 {4 `) ~, n9 A$ p
& C& L/ \+ t4 D5 r* G, r0 G& K
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。
" |; o1 A- ~( l) c l" O
7 P0 \$ `% k8 t( u$ k1 A 现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
" t1 D% ]) ]5 ~
6 d A$ @1 M) a! I, ~ h! b 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF! b R* M- `2 s( Y7 n8 H: n
/ r* {6 S4 k5 X% t9 s 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。6 w4 E" S5 T% c
* P8 j8 F8 K" k0 X
什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。( x' {0 ^8 O; |. z
' ?; r0 n1 s6 d' C0 t8 I 比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。
* q* s7 ]/ M. c R* Y" j& D' P* z8 G& g
codepage=936 简体中文GBK
9 T0 _/ o- l" m, s& y* L( E5 @4 U% |. }. _
codepage=950 繁体中文BIG5 o4 C3 i% d8 M' j7 Z3 |+ |7 W
! E( t9 O M1 k* R* K codepage=437 美国/加拿大英语0 b" W% T" w6 `( W/ l8 L
7 d% N S8 ]$ r' |0 y4 m N codepage=932 日文* {; s: T! |8 e* Q* Y
. e5 F* Z3 f/ A8 u& c codepage=949 韩文
, Q/ y; t6 n: y9 |! U0 w7 G7 z& X2 f4 n- _
codepage=866 俄文
2 v' f- b! `3 \4 |6 T3 M# @' n4 d% a$ w. R* L, o
codepage=65001 unicode UFT-8
/ q7 f k9 a: t$ m" J Y+ O4 ?8 e( `# B- I0 e6 h- l
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。6 S# F3 x; v# r( W* m
2 ]& O) Q* R" {( R
从936中随意取一行，例如：
# N7 U2 `" P0 V( O% N4 ?* F R
3 k% g; ~# Y7 ]# T, J- c 0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
; T0 P4 |3 d3 a( _$ R8 U
: |! p$ r' r% J( y 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。, j7 W. F3 V0 X8 U& j
$ X" l6 S) p! J. o0 b# ? 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
* n% M2 S6 f/ |2 Q* T
* v) w ~: f: r- M ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
0 @3 T% k [, t/ p) `9 z; Q) f1 x& @! O% _& U
例：
+ A' O7 b$ Y- R* y- m
$ d7 |7 K$ T* s0 R, Q E4 BD A0 11100100 10111101 101000004 L2 A" S/ t4 \7 z; l
3 A8 D6 r4 ]+ k5 ~, }4 {
这是“你”字的UTF-8编码* E7 v1 {: |3 J$ n) M
) o5 m. N1 S$ V. w
4F 60 01001111 01100000- m% k7 z0 P* H, r8 T6 v4 U4 ?
) Q* }" z. u+ {1 v: V 这是“你”的Unicode编码
9 E% Z$ `1 b7 e' r H; A- V4 B5 h3 M1 |0 I+ |9 D% ~
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。# x+ f1 l! a5 {
# J+ p2 x4 i7 z$ m2 B' [ 以下是Unicode和UTF-8之间的转换关系表：
. P: N O8 d7 }, c& S* q8 K4 T0 s7 }3 b9 u- W; i+ _( }# y8 \
U-00000000 - U-0000007F: 0xxxxxxx+ G$ k5 j5 a6 T! l4 U6 J7 h' ?
+ k* X0 f8 G6 Z8 } ? U-00000080 - U-000007FF: 110xxxxx 10xxxxxx7 t5 R) e; U4 J% V' f7 o
8 ?/ ^6 E( t) m U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx6 q. e B& `1 @* q x# m4 q5 R
7 m* {7 P8 Y) e5 m U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx0 h+ z# L3 ?# U; d
* g/ w0 f9 j, s2 E U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
- l, \2 U4 g4 ?7 ?- ]' o8 v3 e3 g0 x/ X3 h% y
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx) s( D' Q% z5 y, D; h
. I. r y& e1 o' d* [# \1 g
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 