X(Twitter) にツイートするとき、@ を含む文がメンションリンクになったりURLが勝手にリンク化されたりして困ることがある。これを防ぐのに、見えない「ゼロ幅文字」を間に挟むやり方がある。リンク化回避ツールとしても公開してるけど、そもそもゼロ幅文字って何なのか・なぜ見えないのにリンクを壊せるのかを改めて調べてみた。
ゼロ幅文字の種類
Unicode にはゼロ幅の文字がいくつかある。よく見かけるのはこの 4 つ。
| 名称 | コードポイント | 略称 | 役割 |
|---|---|---|---|
| Zero-Width Space | U+200B | ZWS | 改行可能な位置を示す。表示幅ゼロのスペース |
| Zero-Width Non-Joiner | U+200C | ZWNJ | 文字の結合を抑制する。ペルシャ語・アラビア語で使われる |
| Zero-Width Joiner | U+200D | ZWJ | 文字を結合させる。絵文字の合成(家族絵文字など)に使われる |
| BOM / Zero-Width No-Break Space | U+FEFF | BOM | ファイル先頭でエンコーディングを示す。本文中に残ると不可視文字になる |
このうちよく問題を起こすのは ZWS(U+200B)と BOM(U+FEFF)。ZWS は Web ページや SNS でよく使われていて、コピペで知らないうちに持ち込まれることが多い。BOM はテキストファイルの先頭に残っていて、スクリプトの読み込みや CSV のパースで邪魔になることがある。
ZWJ はふだん見かけない文字に思える。でも実は毎日のように使ってる。スマートフォンで「家族」や「カップル」の絵文字を出すとき、中では複数の絵文字を ZWJ でつないで 1 つの絵文字として表示している。たとえば「👩👩👧👦」は、女性+ZWJ+女性+ZWJ+女の子+ZWJ+男の子の 7 文字でできている。肌の色違いの絵文字のほうは ZWJ を使わず、元の絵文字のすぐ後ろに肌の色を表す文字(U+1F3FB〜U+1F3FF)を付けるだけ。
どこから混入するか
ゼロ幅文字がテキストに紛れ込む経路はだいたいこのあたり。
- Web ページからのコピペ: CMS や WYSIWYG エディタが行間や単語区切りに ZWS を入れていることがある。見た目は普通のテキストなのに、コピーすると一緒についてくる
- SNS・チャットアプリ: 一部のアプリは文字列を整形するときにゼロ幅文字を入れる。Slack や Discord でコピーしたテキストに混ざるケースが報告されている
- テキストファイルの BOM: Windows のメモ帳で BOM 付きの UTF-8 を選んで保存すると、ファイルの先頭に BOM(
U+FEFF)が付く。2019 年の Windows 10(1903)より前のメモ帳は UTF-8 で保存すると必ず付けていた。別の環境で開くと、この 3 バイトがゴミ文字として出たりパースエラーの原因になったりする - PDF からのコピー: PDF の内部構造によっては、行末のハイフネーションや段組みの折り返しにゼロ幅文字が埋め込まれていることがある
- 意図的な埋め込み: テキストの出所を追跡する「フィンガープリンティング」に使われることもある。文書の決まった箇所にゼロ幅文字を仕込んでおいて、流出元を突き止めるやり方
混入するとどうなるか
見えない文字が入っているだけなので表示は壊れない。困るのは文字列を「データ」として扱うとき。
- 文字列比較の失敗: 見た目は同じ
"hello"でも、片方にゼロ幅文字が入っていれば===はfalseになる。デバッグ中に目で見比べても違いがわからない - 検索のすり抜け: テキストに ZWS が入っていると、その語を検索してもヒットしないことがある。「ユーザー名」と「ユーザー名」(ZWS入り)は別の文字列
- 正規表現のミスマッチ:
/^[a-z]+$/みたいなパターンに ZWS 入りの文字列を通すと、見た目は英小文字だけなのにマッチしない - CSV・JSON のパースエラー: BOM がファイルの先頭にあると、最初のキー名に BOM がくっついて認識されなくなる。
"name"じゃなく"name"になる - 文字数カウントのずれ: 入力バリデーションで「10文字以内」としているのに、ゼロ幅文字の分だけ実際のバイト数が増える
検出する方法
JavaScript で検出する
文字列を 1 文字ずつ見ていって、ゼロ幅文字のコードポイントに一致するものを探す。
function findZeroWidth(text) {
const zwChars = {
'\u200B': 'Zero-Width Space (ZWS)',
'\u200C': 'Zero-Width Non-Joiner (ZWNJ)',
'\u200D': 'Zero-Width Joiner (ZWJ)',
'\uFEFF': 'BOM / Zero-Width No-Break Space',
};
const found = [];
for (let i = 0; i < text.length; i++) {
const char = text[i];
if (zwChars[char]) {
found.push({ position: i, name: zwChars[char], codePoint: char.codePointAt(0).toString(16) });
}
}
return found;
} 「ゼロ幅文字が混じっているかどうか」だけ手っ取り早く知りたいなら、正規表現でテストすれば十分。
/[-]/.test(text) テキストエディタで確認する
- VS Code: 見えない文字をハイライトするのは
editor.unicodeHighlight.invisibleCharactersの設定(既定で有効)。editor.renderWhitespaceを"all"にしても見えるようになるのはスペースやタブだけで、ゼロ幅文字は出ない - 正規表現検索: 多くのエディタで Ctrl+H(置換)を開いて、正規表現モードで
[-]を検索すれば混ざっている場所が見つかる
ターミナルで確認する
# hexdump でバイト列を確認(e2 80 8b が ZWS)
hexdump -C file.txt | grep 'e2 80 8b'
# cat -v で非表示文字を可視化
cat -v file.txt 除去する方法
JavaScript で除去する
// ゼロ幅文字をまとめて除去
function removeZeroWidth(text) {
return text.replace(/[\u200B-\u200D\uFEFF]/g, '');
}
// 使用例
const dirty = 'hello\u200Bworld';
console.log(dirty.length); // 11(見た目は10文字)
console.log(removeZeroWidth(dirty).length); // 10 ターミナルで除去する
# macOS (BSD sed) — ゼロ幅スペース (U+200B) を除去
sed $'s/\xe2\x80\x8b//g' input.txt > output.txt
# GNU sed(Linux)
sed 's/\xe2\x80\x8b//g' input.txt > output.txt
ZWS(U+200B)の UTF-8 バイト列は e2 80 8b。ZWNJ は e2 80 8c、ZWJ は e2 80 8d。まとめて除去したいときは sed を何回かパイプでつなぐか、perl で書くと楽。
# perl でゼロ幅文字を一括除去
perl -CSD -pe 's/[\x{200B}-\x{200D}\x{FEFF}]//g' input.txt > output.txt あえて使う場面
ゼロ幅文字は厄介なことが多い。でも逆に便利な使い道もある。
SNS の自動リンク化を防ぐ
X(Twitter) では @ に続く文字列がメンション、. を含むものが URL、# に続くものがハッシュタグとして自動でリンクになる。メールアドレスを文として載せたいだけなのに、勝手にメンションリンクにされるのは困る。
// @ の直後にゼロ幅スペースを挿入
'@username'.replace(/@/g, '@\u200B')
// → '@\u200Busername'
// 見た目は @username のまま、リンク判定だけ途切れる @ と u の間にゼロ幅スペースが入るだけで、X のリンク検出は「@ のあとに何もない」と判断する。画面では @username に見えるのに、クリックできるリンクにはならない。
この仕組みを使ったツールをツイートのリンク化回避ツールとして公開している。テキストを入れてボタンを押せば、メンション・URL・ハッシュタグがリンクにならないテキストが手に入る。
長い文字列に改行位置のヒントを入れる
ZWS は「ここで改行してもいい」という情報を持ってる。長い英単語や URL がコンテナからはみ出すとき、ちょうどいい位置に ZWS を入れておけばブラウザがそこで折り返してくれる。CSS の word-break で一律に割るより、意味のある区切りで折り返せる。
https://example.com/very/long/path/to/resource
↓ スラッシュの後ろに ZWS を入れると、そこで折り返せる
https://example.com/very/long/path/to/resource
HTML なら ​ か <wbr> タグで同じことができる。<wbr> は「Word Break Opportunity」の略で、ゼロ幅スペースと同じ役割をタグで書けるようにしたもの。
テキストのフィンガープリンティング
機密文書を何人かに配るとき、コピーごとに違う位置へゼロ幅文字を仕込んでおけば、流出したテキストからどのコピーが漏れたかを特定できる。ニュースメディアや企業の内部文書で実際に使われているといわれる手法で、目に見えないので受け取った側は気づきにくい。
注意点
- ゼロ幅文字はスクリーンリーダーの読み上げに影響することがある。アクセシビリティを考えると、公開するコンテンツで多用するのは避けたい
- サービスによってはゼロ幅文字を自動で消す処理が入っている。投稿先で効くかどうかは先に試しておく
- リンク化回避やフィンガープリンティングに使うなら、受け取った側がゼロ幅文字を取り除けば効果はなくなる。あくまで「気づかれにくい」だけで「破れない」仕組みではない
- プログラムのソースコードにゼロ幅文字が混ざると、コンパイルエラーや実行時の不具合の原因になる。コードレビューでは目で見ても見つけられないので、リンターやエディタの設定で検出するのが確実
関連記事
よくある質問
- ゼロ幅文字はどこから混入する?
- Webページからのコピペ・テキストエディタの自動挿入・チャットアプリの変換処理などで混ざる。目に見えないので気づきにくい。
- ゼロ幅文字を検出するには?
- テキストエディタの正規表現検索で
[-]を使うか、JavaScriptで文字列の.lengthと見た目の文字数を比べればわかる。 - ゼロ幅文字を除去するには?
- JavaScriptなら
str.replace(/[-]/g, "")で一括除去できる。ターミナルならsedコマンドでも消せる。 - ゼロ幅文字をあえて使う場面はある?
- SNSの自動リンク化を防ぐ・長い英単語やURLに改行位置のヒントを入れる・アラビア文字の結合を制御するなど、あえて入れることもある。