|
 
- UID
- 1
- 帖子
- 738
- 精华
- 28
- 积分
- 14171
- 金币
- 2376
- 威望
- 1647
- 贡献
- 1324
|
HTML语言:什么是Unicode 什么是UTF-8
Unicode和UTF-8在制作网页中对于很多人不是很了解，到底是什么样的概念希望通过本文可以让大家了解，首先说明一下现在常用的一些编码方案：+ ?& ]% X; Z" W* e0 s0 ~
5 ^! n4 M# t4 U" H# G 1、在中国，大陆最常用的就是GBK18030编码，除此之外还有GBK，GB2312，这几个编码的关系是这样的。
0 Q- o0 Q5 t; `/ B+ B- m4 n) w1 h7 B% i/ n
最早制定的汉字编码是GB2312，包括6763个汉字和682个其它符号；95年重新修订了编码，命名GBK1.0，共收录了21886个符号。之后又推出了GBK18030编码，共收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字，现在WINDOWS平台必需要支持 GBK18030编码。按照GBK18030、GBK、GB2312的顺序，3种编码是向下兼容，同一个汉字在三个编码方案中是相同的编码。- J4 m2 @8 W- C4 e0 C
8 H8 P L6 J( K% A. Z 2、台湾，香港等地使用的是BIG5编码
, H K s: Z' \; k* H5 e5 |
- R: |3 b. e4 }; I8 s 3、日本：SJIS编码% x, e. ~: \, u4 k1 b, _
/ y! C, _+ o3 _9 K$ p3 J7 B
如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。
% u* Q; [. h- a* W4 q3 M9 V1 D* J: E2 t( i& l7 H
在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。那么Unicode是如何编码的呢? 其实非常简单。就是将世界上所有的文字用2个字节统一进行编码。可能你会问，2个字节最多能够表示65536个编码，够用吗?韩国和日本的大部分汉字都是从中国传播过去的，字型是完全一样的。 比如：“文”字，GBK和SJIS中都是同一个汉字，只是编码不同而已。那样，像这样统一编码，2个字节就已经足够容纳世界上所有的语言的大部分文字了。
) E9 T! I. e* D( C$ ~' ~ q7 B4 F: t0 V& j% f: Q' V7 u
Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。; I1 n$ L$ O3 `5 g5 s5 V
2 H6 f* @5 w5 \8 {( ?* } 现在用的是UCS-2，即2个字节编码，而UCS-4是为了防止将来2个字节不够用才开发的。UCS-2也称为基本多文种平面，转换到UCS-4只是简单的在前面加2个字节0。UCS-4则主要用于保存辅助平面，例如Unicode 4.0中的第二辅助平面$ S4 X( _9 ?9 Z6 M
+ t# P( d8 k$ f: N% y5 w% v 20000-20FFF - 21000-21FFF - 22000-22FFF - 23000-23FFF - 24000-24FFF - 25000-25FFF - 26000-26FFF - 27000-27FFF - 28000-28FFF - 29000-29FFF - 2A000-2AFFF - 2F000-2FFFF5 \9 Z- r. J# V$ y4 d3 y
+ h- H. t6 ?$ A' z 总共增加了16个辅助平面，由原先的65536个编码扩展至将近100万编码。那么既然统一了编码，如何兼容原先各国的文字编码呢?这个时候就需要codepage了。4 a2 ^- T/ I9 K! W
* \# V" K2 h# [ 什么是codepage?codepage就是各国的文字编码和Unicode之间的映射表。# w8 T7 ^. I( s Z5 V
4 b1 L* F9 [4 S1 W4 Y, w5 f+ g
比如简体中文和Unicode的映射表就是CP936，点这里查看官方的映射表；以下是几个常用的codepage，相应的修改上面的地址的数字即可。+ F- p1 f7 Q" ^. Y2 M& e7 v
& j6 X7 N8 v2 }0 g codepage=936 简体中文GBK
! E% ^# e. p- w/ p6 Q1 f: _
* Z0 S9 u7 Z) M+ | codepage=950 繁体中文BIG5
1 j- u0 E% x: K0 |3 E5 V; a# v
4 [: O! H' K; m; t: W codepage=437 美国/加拿大英语
7 A$ ^: T' d. l' ?- f! R' l" O$ O. z; v3 \: Z9 ^, b. V6 T
codepage=932 日文
) Y8 H E$ L5 j, x$ u$ d$ _; g7 c" O7 ^
codepage=949 韩文
, H1 I8 R: M# i5 f, F* A% M$ C8 o) E) ]7 h% P3 \. L, ]( g
codepage=866 俄文
8 J# ]4 x$ ~- U* H9 _/ O7 j8 e, f3 T2 q8 R/ O4 r. n
codepage=65001 unicode UFT-8
' g6 a/ i. x: @! C* ^1 S& l$ a( K4 \) W0 e
最后一个65001，据个人理解，应该只是一个虚拟的映射表，实际只是一个算法而已。
/ p- a$ h# @$ t7 l$ w# K9 ^' ^- n' D+ m
从936中随意取一行，例如：2 R% G. v" B+ a' a8 [
3 C- o: O% B6 J! `/ M
0x9993 0x6ABD #CJK UNIFIED IDEOGRAPH
) I" j; d% y. F: w
( ^1 y" y: C& U) l: c L% A 前面的编码是GBK的编码，后面的是Unicode。通过查这张表，就能简单的实现GBK和Unicode之间的转换。! A% D5 D |. A
`: |4 C1 e7 X 现在明白了Unicode，那么UTF-8又是什么呢?又为什么会出现UTF-8呢?
% k2 `% k. j0 F8 D
% O9 ^$ w( A3 A+ v$ F# S ASCII转换成UCS-2，只是在编码前插入一个0x0。用这些编码，会包括一些控制符，比如 或 /，这在UNIX和一些C函数中，将会产生严重错误。因此可以肯定，UCS-2不适合作为Unicode的外部编码。因此，才诞生了UTF-8。那么 UTF-8是如何编码的?又是如何解决UCS-2的问题呢?4 x6 w" b$ g& s5 R6 W" E
5 l, |' m! @# o' i6 M" z 例：
' X- S: v* }3 I6 n1 R
' E/ r$ @* w! _! H o E4 BD A0 11100100 10111101 10100000
0 T5 O6 H' O- _1 [! _( q
+ L: k% o! N( b7 P: q/ [ 这是“你”字的UTF-8编码9 R1 i0 O& S+ B! P6 ?' X# e! H
4 E3 N7 F! s6 _ 4F 60 01001111 01100000$ T# U1 g% ~! I9 [1 m% e
8 d3 n: D" e p& @. O7 v
这是“你”的Unicode编码
! v. ^% T5 Y+ X! x( {$ }4 \ I& k4 H0 u0 m( f
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000，把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。注意UTF-8的最前面3个1，表示整个UTF-8串是由3个字节构成的。经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。( ?% v9 _& v$ s% X: D) W, E
; i& ~! j" v8 L+ |2 ?2 h 以下是Unicode和UTF-8之间的转换关系表：
6 a& L/ R! O9 H/ }/ `* Z: \" u
U-00000000 - U-0000007F: 0xxxxxxx
! j- j4 i! t; V8 i2 {: p9 M7 L! D Z+ `4 Q- ~8 { s% j
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx5 ]7 {, g( ]; T: R6 V
1 j. C. J# g0 ~4 j: n
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
( q2 J8 V. ^ y b, N; w
% H1 \7 ]0 b' Y) \2 V; p U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
% j8 \! V% e% a& o. q+ ]9 K8 c
" x1 E* J. _. R! ~4 H' d% C U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
3 L: Z1 |. q) K6 _/ H5 V2 J7 k
$ L9 r% i% x: `6 B) Z U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx1 q/ }/ S5 K6 y. q) P: j: u
5 x, `5 d7 L% {6 T5 I' c
Unicode编码转换到UTF-8,简单的把Unicode字节流套到x中就变成UTF-8了。 |
|
发表于 2008-1-19 23:35
| 