一个字库只留三千九百字的时候
八万五千五百六十八,是《中华字海》一九九四年收的汉字总数。另一头的《现代汉语常用字表》收三千五百字,二〇一三年《通用规范汉字表》的一级字表也是这个数。八万多对三千多,差二十几倍,一套只留三千九百字上下的字库,卡在这条落差的下沿。
剩下的八万字去哪了。最顺手的一句回答是字库装不下,只好挑常用的留下。这句话放进铅字摆上字盘的年代有它的道理。搬到今天,一个名字变成方框、一句古诗少掉一笔,原因已经换过好几轮。这套取舍由什么定,得从字表、字符集和字体各管哪一段说起。
几个先要分开的词
四个词得分开,后面几层才不缠。字表是一张清单,写明哪些字算社会一般领域该用的字。字符集给每个字编一个不重复的号,这个号叫码位。编码规定这个号存成怎样一串字节。字体是把字画出来的图形,一个图形叫一个字形,字库是图形连同对应关系的集合,装进文件供人调用。
换成能摸到的事。翻字典看见的那个字,是字表里的一个条目,敲进电脑,机器先认那个编号,屏幕上的一笔一画,才是字体交出来的。三样分头管,一样坏了,另两样未必跟着坏。缺字、乱码、变方框,是三种毛病,各找各的那一层。
字表、字书与码位空间
把收字的账翻开,落差大得反常。东汉《说文解字》收九千三百五十三字,清代《康熙字典》收四万七千零三十五字。《汉语大字典》收五万四千六百七十八字,一九九四年的《中华字海》收八万五千五百六十八个。
另一头的现代字表收字少得多,定得却细。哪一级供基础教育,哪一级供出版印刷,哪一级留给姓名地名,都写明。几张表并排放,量级差得清楚。
《现代汉语常用字表》 收字:3500,依据与用途:基本用字(1988 年);《信息交换用汉字编码字符集·基本集》 收字:6763,依据与用途:信息交换用,一级 3755、二级 3008 字(1980 年);《通用规范汉字表》 收字:8105,依据与用途:分三级,按使用度(2013 年);《中华字海》 收字:85568,依据与用途:历代字书汇编(1994 年)。
这一组里最该盯住的是 8105 这一行,国务院二〇一三年公布时写明,社会一般应用领域的汉字使用以它为准,原有相关字表停止使用。字表说明还讲,一级二级靠语料库统计加人工干预,按使用度定量分级。落差出自一条「现代通用」的筛选原则,跟机器放得下多少图形无关。
给字符编号的位置从 0 排到十六进制的 10FFFF,折合一百多万个号,历代字书积下的八万多字放进去还占不满零头。编号够用而屏幕仍缺字,容量这一条很难再当主因。字有编号,只说明机器认得它,画得出来,还得有人替它做图形。
分片、回退与字节换算
容量退到次要位置,工程上动的手脚是把整套字拆开。这套做法叫子集化,先挑出这一页用得上的字做成小字体。网页字体走这条路,一套覆盖上万汉字的字体文件以兆字节计,整包塞给每个访客都划不来,于是拆成下面几步。
1. 先统计这一页出现了哪些字符,标题、正文、按钮上的字都算进去,得一份用字清单。清单多只有几百字,比整包字体的上万个字形小得多。2. 按码位区间把字体切成若干片,每片只装一段编号范围里的字形。依据是字符在字符集里的编号,跟这个字常不常用无关。3. 用 WOFF2 这类给网页用的格式把每片压小,再标清它负责哪一段码位。浏览器看到某个字,据此判断该取哪一片,不必比对整包字体。4. 浏览器只读页面时下载命中的那几片,没出现的字连文件都不取。下一页换了内容,再按新清单补取另外几片。
这一串动作没有一个环节在删字。八万字仍分好片放在服务器上,某一页用不到就先不送,所谓只留三千九百字,落到网页这层,更接近一次只取用得上的那些片。取舍发生在传输那一刻,跟字库装不装得下隔着一整层。
给网页指定的字体写下的多是一串名字,浏览器逐个找,直到碰上含该字字形的可用字体。W3C 的字体模块把这套匹配写成明文,逐项回退就在其中一节,一个字体缺某字,屏幕未必空一格,常由系统里另一套字体补上。
异体字走另一条路。字表附一张《规范字与繁体字、异体字对照表》,把对应关系列出来,还把一批用于人名地名的异体字调回规范字。整理古籍碰上旧写法,靠这份对照找到它今天该对的编号,图形那一头仍得单独补。
字符编码记编号,字体存图形,两样数目本就对不齐。一个码位能对应好几个字形,几个码位也可能共用一个图形。字库收多少字形,跟字符集给多少字编了号,是两笔分开的账,把「装不下」安到字库头上,等于把编号的账算到图形头上。
编号和字节的换算另有一张更硬的账。同一个汉字换一种编码,占的字节数就跟着变,传输和存储的开销全落在这上面。
GB 2312 里的一个汉字 字节数:2,据双字节编码;UTF-8 里的一个汉字(基本平面) 字节数:3,据占三字节;UTF-8 里的一个增补汉字 字节数:4,据占四字节;UTF-16 里的一个基本平面字符 字节数:2,据占两字节;UTF-8 里的一个拉丁字母 字节数:1,据ASCII 单字节。
这几行说明,一个字占多少字节由编码定,跟笔画多不多、字体里有没有图形都无关。把一种编码的字节流交给另一种去解,解出来的便成了谁也认不得的字,「锟斤拷」这类怪字就出在这道口子上。有一段把来路从头讲一遍的视频,标题叫《锟斤拷是怎样炼成的》,讲编码错解怎么变成满屏怪字,它跟字库缺字看着像,来路不同。
六类会碰上缺字的地方
先说网页,一个页面标题多只有十几个字。正文连按钮、导航加起来,用到的不同汉字也就一两千个。分片只送用得上的几片,首屏等的时间短一截,改成整包下发,访客每开一页都得把上万个字形拖完。
一首五绝二十个字,七律五十六个字,却最容易撞上不在常用字表里的字。只按常用字切片的字体补不上这一两个字,量级不过一两个字,空出来的那一格落在句子中间。
人名和地名把风险摆到具体的人身上,三级字表收一千六百零五个字,一大块来自姓氏人名、地名和教材文言文用字。只按常用度切片的字体,最先漏掉的多是这些字,姓名里那个字一辈子用不上几回,落在谁身上,谁办证、挂号就得多一道人工核对。
古籍整理面对尺度的另一头,《中华字海》那八万多字里,大量是只在旧籍里露过面的异体、避讳字和俗写字。现代字表收不进去,整理者得替每个字定下编号,找不到的拆成偏旁部件记下来,一部几百万字的古籍,待定的字能攒到几百上千个。
供视障人士把文字念出来的软件叫屏幕阅读器,它拿到的是字符编号,字形画得周正不周正都不进处理链。编码没解错,生僻字照样能念出来,编码一旦解错,念出来的就是一串不相干的音。一页几百到几千个编号,错一组就偏一组。
打印和导出把场景挪回本机。点了打印或存成 PDF 拷到别的机器,网络字体不再跟着走。导出时把用到的字形嵌进文件,就为堵这个口子。没嵌,换台机器打开,标题里那个生僻字就变回方框,一份几十页的文档,嵌进去的多只是几百个字形。
这六处按人碰到的东西来分,没有按学科归类,毛病看着像同一回事,落到机器上分属传输、切片、编号、字形、嵌入这几层,各走各的路。把「字被删掉」放进六处核对,能站住的只剩很小一角。
边界上的那个数字
得先替排字的人把这句话说完。铅字年代的字盘是木头和铅做的,一间车间摆得下多少字模有硬上限。一个字占一格实体,装不下就是装不下。编码年代早期,一个汉字占两个字节,码位能排多少格、传输肯付多少开销都得精打细算。一九八〇年的 GB 2312 只收六千七百六十三字,里头确有容量的账。这两段里,字被删掉是因为字库装不下,站得住大半。
可到了分片加载、回退兜底、码位以百万计这一层,主导取舍的换了东西,字表按使用度分级,划出社会一般用字的范围。字体切成片按需取用,算的是传输开销。八万多字没被谁删掉,分头落在字书、后补的码位段、服务器上的字库和一张对照表里,某一台机器没带上,跟当初那句装不下,中间隔了好几层。
这套办法也有够不着的地方。回退链只在机器上真装了别的字体时才管用,手机、打印店、老系统各带各的字库,字表之外的字仍得靠补码位、靠人工补、靠临时造字。字体文件还带授权,能不能嵌进网页、能不能随文档分发,由许可说了算。于是先后仍分得出来:常用字最先被带上,姓名地名里的冷僻字要等字体或字表专门补过。
把这几层收拢,能对着核对的还是字表上那几个数。一级三千五百字管基础教育和文化普及,二级三千字补上出版印刷与信息处理的一般用字。再往外的姓氏人名、地名、科技术语和教材文言文用字单列一级。收字一千六百零五个。
参考
- 国务院关于公布《通用规范汉字表》的通知(国务院办公厅,2013-08-19) · 政策 · 表一、三级分级、异体字对照附表
- 历时10年研制的《通用规范汉字表》公布(光明日报,2013-08-20) · 报道 · 8105 字及三级分级
- CSS 字体模块第四版(W3C) · 指南 · 字体回退与分片加载
- 字符编码:基本概念(W3C,2018-08-31) · 概念 · 编码与字形、表二字节数