|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14443
- 金币
- 2507
- 威望
- 1647
- 贡献
- 1455
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：
3 T7 y y0 n& @* x9 `8 l
4 _6 G0 F) o! k" j& ~ 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。. Y! G F1 ?' g+ G
# h' i; H( Z8 R. J2 ~6 T
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。) k8 }* z# {1 u6 p% o) j) K* |
$ a. ^' v. J8 H0 X. I! o 2、台湾，香港等地使用的是BIG5编码
! I6 ?% P5 g( L( N4 t& ~
, c m( E( J% D) e# M1 Q 3、日本：SJIS编码
8 S$ R" t4 e8 d' [1 l' I* p9 @
1 B1 G; O: j1 f" | 如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
R5 Z2 ^8 E& Z v7 M! w
V, H9 d4 L0 ?: l 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
- Y. v) @" T6 p( W& c S$ L( g% K& [) y
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。% j7 D7 y, S w( w. N9 _8 P! i: H
% D: R9 ]7 @' }, N L+ ]7 L0 Y
现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面
" w. G8 Y6 }: }. {& h/ K4 I/ @$ [& L8 }
20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF2 Z4 S, o2 f/ z/ U7 }
2 E3 A# _/ }6 h3 T. ?1 ]# }
总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。
3 @% r) S; i( |7 m+ H
4 J3 d" d8 w! C3 Y/ J 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。4 A/ T, T# S/ _- q
3 e( }; E3 L, N7 Y
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。8 o8 ]2 s# x) b$ B
8 o; Z* R# S8 p0 J3 J codepage=936 简体中文GBK
O2 q( ^. J5 G# I: t5 w
8 y( t3 N$ P( ~ codepage=950 繁体中文BIG57 i6 _0 T7 s0 x* V( [* O: Z# ^
: `8 B2 ^1 Y- I2 J# k5 }) Y
codepage=437 美国/加拿大英语
) k. R/ C( m# ]* R$ q9 ~2 k
# {: ?. u& _6 P: E" o codepage=932 日文
* s' \. G" X9 Z) ]+ I8 ?" n7 e) ]- m
codepage=949 韩文
& \' u2 e4 \. t: N+ b a$ d
; |. c- a7 R" I; n- i codepage=866 俄文
& ?0 R# D8 S" Y: p1 k6 f# X
8 y3 W- z9 l3 T# w0 _- V' s5 E4 C codepage=65001 unicode UFT-8
* V# t& g+ V" G G$ ?0 E: |$ `; X; u3 ~( v
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。4 o1 P: m& H( B
/ `: B8 X% D6 [5 F 从936中随意取一行，例如：
0 u2 G$ }, z, _5 B8 P3 A9 ]. g: k+ Q1 \& w+ _" f; b
0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
4 n' c1 D+ l, g* e
# J8 w. k& \6 J( R, a) C3 x* |7 J 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。7 v- o$ `. G" \' a: K
; A8 @( b5 l; u7 j% l( _4 n8 O1 \
现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
4 T5 k( n& `8 c
; M3 [: ]; j( j ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?
7 x$ P d' q! [0 s7 v- `5 D( ]; W2 P
例：5 L2 L" y/ j* z3 p- \" k
) i. o3 [) O) G0 a. g5 g# B E4 BD A0 11100100 10111101 10100000
& G! Y0 K& e( K/ S4 w+ b9 `
( h: W$ C$ c# I% ] 这是“你”字的UTF-8编码7 g" ]- Y/ _+ Y3 A* F
/ t" }4 Z; w! m8 n6 b$ g 4F 60 01001111 01100000
! {. o4 E$ f. T \3 b+ r. E$ _+ {
0 A) `( v: V1 j; P/ b' N$ H4 N) M+ p 这是“你”的Unicode编码* ]$ Q$ t1 m; j
& Y3 v( e! d! e
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。$ m: l% y u% r1 Z" x) ~
6 v3 Q# M$ k; s" l( V
以下是Unicode和UTF-8之间的转换关系表：
8 k3 S: a- t# x8 m4 W! _( ^# H6 A9 J/ U6 Z& Q7 @1 d. S0 u p, e- t0 ]
U-00000000 - U-0000007F: 0xxxxxxx
3 n) N# ~# C& ^5 i: t2 P; \/ |
B# ^! g& |# a0 n0 u6 A9 L U-00000080 - U-000007FF: 110xxxxx 10xxxxxx7 s8 m) e; s% Q. t! M
5 Q0 z% N# J( N U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
5 U, L" x! {+ u! P0 s/ o
3 ]! {2 y- f6 o1 [7 t& N c U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx0 D) ^% `+ p" F% L4 D4 R9 u% L# M
% v7 Y8 C2 E; d U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx& {, q; s5 P" z# v& H2 P
8 I: Y: O( Y6 P
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx! R; b {' C. C- w
7 X+ h4 M c2 K$ l6 @. S$ t" X
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 