跳到正文
返回博客
动态 · unicode

一个 emoji 算 8 个字?字数统计里被忽略的三层抽象

'👨‍👩‍👧'.length 是 8,Array.from 是 5,按字素簇算是 1。本文讲 JavaScript「字符」的三层含义与 Intl.Segmenter。

6 分钟阅读Simon Wong

把家庭 emoji 👨‍👩‍👧 粘进任意一个在线字数统计工具,问它「这是几个字符」,你大概率会得到这三种答案之一,而且三个都不太对:

  • 8 —— 工具用了 text.length
  • 5 —— 工具用了 Array.from(text).length 或 [...text].length
  • 1 —— 工具用了 Intl.Segmenter

只有最后一个匹配人眼看到的结果。前两个不是「差了几个」的问题——它们在回答完全不同的问题,而你输入里只要出现 emoji、组合重音、印地语合体字符、或拼合的韩文,这种差距立刻显形。

JavaScript 里「一个字」的三层

JavaScript 的字符串底层是 UTF-16 code unit 序列,这是 .length 报告的东西。一个 code unit 16 位。ASCII 字符一个 code unit 装下,所有 U+FFFF 以上的字符(包括所有 emoji)必须用代理对(surrogate pair)表示——两个 code unit。

Array.from(text) 按 Unicode code point 迭代,往上一层。Code point 是 Unicode 码位空间 U+0000 到 U+10FFFF 里的一个值。代理对会被还原成它代表的那个 code point,所以 👨(U+1F468)在这里算 1 个而不是 2 个。

Intl.Segmenter 加 granularity: "grapheme" 按 grapheme cluster 迭代——Unicode 标准里说的「用户感知的字符」。一个 grapheme cluster 是一个或多个 code point 的序列,用户看见并当作一个整体使用。基础字母 e 加组合重音 ´ 是一个 grapheme,尽管它由两个 code point 组成。用 ZWJ 拼起来的家庭 emoji 👨‍👩‍👧 是一个 grapheme,尽管它由 5 个 code point(8 个 UTF-16 code unit)组成。

具体拆开,家庭 emoji 长这样:

👨   U+1F468   man(男)       → 代理对(2 个 UTF-16 code unit)
‍    U+200D    zero-width joiner(零宽连接符)
👩   U+1F469   woman(女)     → 代理对(2 个 UTF-16 code unit)
‍    U+200D    zero-width joiner
👧   U+1F467   girl(女孩)    → 代理对(2 个 UTF-16 code unit)

5 个 code point、8 个 code unit,被两个 ZWJ 黏成一个 grapheme,渲染成一张图。问「这是几个字符」,除了 1 没有别的合理答案。

为什么 Array.from 还不够

从 .length 升级到 [...text].length 是真的进步——它至少不会再把代理对劈开、不会再把 🚀 算成 2。很多字数工具就停在这一步、当作收工。这三种输入下它们仍然是错的:

  • ZWJ 序列:家庭、职业、肤色修饰的 emoji 都用零宽连接符。Array.from('👨‍👩‍👧').length 是 5。
  • 组合标记:é 用 e + U+0301 输入是 2 个 code point,用 U+00E9 输入是 1 个。code point 计数对同一个可见字符给出不同答案;grapheme 计数对两种输入都给 1。
  • 印地语 / 韩文簇:नमस्ते(印地语「你好」)是 6 个 code point,按 Unicode 15.1 及以后的切分规则是 3 个 grapheme(न、म、स्ते),ICU 数据较旧的引擎会切成 4 个;韩文 한 可能是 1 个预组合 code point、也可能是 3 个拆分的 jamo——可见字符相同,code point 数不同。

只要用户粘进任何 ASCII 与简单 emoji 之外的内容,基于 code point 的字数工具就会和用户眼睛看到的对不上。那一刻用户就不再信任这个工具。

实现:十行代码

修法比解释还短:

export function countGraphemes(text: string): number {
  if (text === "") return 0;
  if (
    typeof Intl !== "undefined" &&
    typeof (Intl as { Segmenter?: unknown }).Segmenter === "function"
  ) {
    const seg = new Intl.Segmenter(undefined, { granularity: "grapheme" });
    let n = 0;
    for (const _ of seg.segment(text)) n += 1;
    return n;
  }
  return Array.from(text).length;
}

三个细节值得一提:

  1. Intl.Segmenter 的判断是运行时特性检测,不是 typeof navigator 那种浏览器嗅探。同一份代码跑在主线程、Web Worker、Node 里——现代引擎里三者结果一致。
  2. locale 传 undefined。grapheme 切分的规则实际上与 locale 无关;locale 参数对句子 / 词切分有影响,对 grapheme 没有。家庭 emoji 在 'en'、'zh'、'ja' 下都是 1 个 grapheme。
  3. fallback 用 Array.from 而不是 .length。万一在老浏览器上必须给个错的答案,宁可把家庭 emoji 算成 5,也不要算成 8。

不要对用户隐藏 fallback

现代引擎都有 Intl.Segmenter——Chrome 87、Firefox 125、Safari 14.1、Node 16。但每个字数工具迟早会遇到一台 2019 年的企业版浏览器。真正的设计问题是:当无法跑正确算法时,要怎么告诉用户。

错误答案是悄悄回落到 Array.from,假装数字没变。用户粘了一条推文,工具把家庭 emoji 算成 5 而不是 1,他以为还剩 274 个字符就发了,结果平台从中间截断。

正确答案是把降级显式暴露。computeAll 返回里带一个标志:

return {
  stats, density, readability, effectiveMode,
  segmenterFallback: !hasSegmenter(),
};

UI 拿到这个标志会显示一条小提示:「当前浏览器按 code point 计数、而不是 grapheme cluster。emoji 字符数可能比现代浏览器稍多。」六个词的警告,就把上面那种失败模式整个堵住。错了要响。

一个副效应:去空格后的字符数自动对了

countGraphemes 一旦正确,「不计空格的字符数」就免费修好了。朴素写法:

text.replace(/\s+/g, "").length            // 错:UTF-16 code unit

正确的版本只是组合同样的原语:

countGraphemes(text.replace(/\s+/g, ""))   // 对:grapheme cluster

这就是全部 patch。没有一个独立的「去空格 + 重新组合代理对 + 再缝合 ZWJ 序列」函数。把 grapheme 计数当成唯一的原语之后,所有派生指标——字符、不计空格字符、含 emoji 的词、密度桶——都自动继承了 Unicode 正确性。

那 Twitter 呢

Twitter 自己的计数器(twitter-text 库)不用 grapheme cluster。它用一种加权 code point 方案:基础区段的字符算 1,区段之外的字符算 2,URL 一律按 23 算。所以面对一条满是 emoji 的推文,我们和 Twitter 会给出不同答案——我们说 5 个 grapheme,Twitter 说 10(每个 emoji 算 2)。大模型 API 按第四种单位 token 计费,一个 emoji 常被拆成好几个 token,AI Token 计算器按模型分别统计。

这是个真实的取舍,我们选了对齐人眼而不是对齐 Twitter 的计费逻辑。理由是:用户用字数工具是想回答「这段是不是太长」,而不是「Twitter 要按多少计费单元收我」。后者那个问题,平台自己的编辑框才是唯一权威。我们工具里的平台预设(Twitter 280、SMS 160、meta title 60)都按 grapheme 校准——因为用户说「我的标题是不是 60 字以内」时,心里想的就是 grapheme。

自己跑一遍

把 👨‍👩‍👧 hello नमस्ते 한국어 粘进字数统计工具,看一眼字符计数:家庭 emoji 是 1,h e l l o 和空格各算 1,印地语 3(Unicode 15.1 之前的引擎是 4),韩文 3。在 CJK / Latin / Auto 模式之间切换,会看到同一段文字在不同假设下词数不同——但字符数不会撒谎,因为它回答的是最简单的那个问题:这里有多少个东西,是人眼看到的?

50,000 字以内的文本同步算,超过这个阈值会被甩进 Web Worker。