Unicode-LE

Unicode-LE：見た目とは異なる文字

現在のファイルまたはワークスペース全体に潜む、意味を隠す Unicode を検出します
双方向テキスト制御文字、不可視文字、同形異字、スクリプトの混在、非 NFC テキスト、通常のスペースではない空白

役に立ちましたか？ スターや評価を付けると、ほかの開発者にも見つけてもらいやすくなります — ★ GitHub · ★ Open VSX · ★ Marketplace

できること

ファイルを開いて Unicode-LE: Detect Unicode Risks を実行すると、見た目とは異なる文字がすべてエディターの横にレポートとして表示されます。CVE-2021-42574 の原因となった双方向テキスト制御文字、ゼロ幅文字などの不可視文字、同形異字、単一のスクリプトでは説明できない単語、正規化形式 C ではない行、U+0020 ではない空白、そして意味について合意がないコードポイントを検出します。Scan Workspace を実行すると、ディスク上のすべてのファイルが同様にスキャンされます。VS Code と、Cursor や VSCodium などの VS Code ベースのエディターで動作します（Open VSX からインストールできます）。

• トロイのソースを探すためにプルリクエストをレビュー — 右から左への上書きにより、レビュー担当者が読むコードと実行されるコードが異なる状態を検出します
• 偽装された名前を検査 — すべてラテン文字の pаypal にキリル文字の а が含まれていれば検出されますが、キリル文字だけで書かれた単語は検出されません
• 一致しない文字列の原因を調べる — ゼロ幅スペースや分解された é が、ハッシュでは異なる値と見なされる一方、人間には同じに見える 2 つの値の間に含まれている場合、その原因を説明します

レポートに検出した文字そのものが含まれることはありません。 検出結果はすべて文字そのものではなく U+202E のように記され、文書内のファイルパスやキーのパスは ‮ にエスケープされます。文字をそのまま貼り付けたレポートは、読む人の画面上の表示順を変えてしまいます。それでは、このツールが検出する脅威を運ぶ手段になってしまいます。内容を書き換えることはありません。正規化も、空白の削除も行いません。

インストール

AI エージェントから使う

同じエンジンがMCPサーバーとして動作するため、コマンドを実行する代わりに、エージェントから直接呼び出せます。ここではほとんどのツールよりも重要です。ドキュメントを自身の推論に貼り付けたモデルは、すでにその中の双方向制御文字を受け取っています。一方、このサーバーから返されるのは U+XXXX と英語なので、回答にそれらが入り込んでコミットメッセージやレビューコメントに含まれることはありません。

detect_unicode_risks(content, kinds?, scripts?, format?, filename?, maxResults?)

各検出結果について、種類、重大度、1始まりの行と列（エディターのカウントと同じ UTF-16）、バイトオフセット、コードポイント、スクリプト、形式が対応している場合はその検出箇所を含むキーのパスを返します。また、拒否があった場合は構造化データと警告の両方で返すため、検出結果が空でも、ドキュメントに問題がないと誤解されることはありません。返信に含まれる非 ASCII 文字はすべて \uXXXX に変換されます。デフォルトでは 500 件に制限され、meta.truncated で示されます。

サーバーはコンテンツを受け取ってデータを返します。ファイルを読み込まず、独自にネットワークリクエストを送信することもありません。npm では unicode-le-mcp として、MCP レジストリでは io.github.nolindnaidoo/unicode-le として公開されています。Rust CLI のサーバーとまったく同じように動作します。同一のコーパスを両方に対して実行し、差分テストでは生成した数千件のドキュメントを両方に渡し、どちらもクレートが書き出した同じ Unicode テーブルを読み込みます。ホストの JavaScript エンジンが持つバージョンには依存しません。

{
  "mcpServers": {
    "unicode-le": {
      "command": "npx",
      "args": ["-y", "unicode-le-mcp"]
    }
  }
}

echo '{"jsonrpc":"2.0","id":1,"method":"tools/list"}' | npx -y unicode-le-mcp

検出内容

翻訳されたコードでも、検出結果に埋もれることはありません

単純な紛らわしい文字のチェックでは、ワークスペース内のロシア語や中国語の文字列のすべての文字が検出されます。チェックを最も必要とするコードベースで何千件もの検出結果が出るため、チェックが無効にされ、Trojan Source の検出も一緒に無効になってしまいます。

• 判定するのは単語であり、ファイルではありません。 Привет は完全にキリル文字で書かれており、ロシア語です。日本語では1つの単語の中で漢字、ひらがな、カタカナが常に混在し、UTS #39 はそれが日本語であることを認識します。
• 別の文字体系で明らかに書かれたファイルは、ホモグリフの検査対象になりません。そのことはレポートにも示されます。つまり、どの文字体系も宣言されていない状態で、その文字体系の文字が少なくとも10％を占めている場合です。それ以外の検査はすべて引き続き実行されます。
• 文字体系を宣言すると、検査は有効になります。無効にはなりません。 ワークスペースで使う文字体系を unicode-le.detection.scripts に指定してください。Han、Cyrillic、Hira などを指定すると、中国語の文字列内にあるラテン文字の製品名は翻訳として扱われますが、同じファイル内のラテン文字の単語にあるキリル文字は引き続き検出されます。

ファイル内の位置だけでなく、ドキュメント内の位置も示します

JSON、YAML、TOML、INI、.properties、.env、CSV、TSV では、検出結果にキーのパスも含まれます。5,000行のカタログの412行目ではなく、metrics.headline.eyebrow のように示されます。検出結果があるかどうかを形式が決めることはありません。形式を解析できないファイルも引き続きスキャンされ、その中のすべての内容が報告されます。

推測せず、読み込みを拒否します

ワークスペースのスキャンでは、すべてのファイルをバイト列として読み込みます。UTF-16またはUTF-32のファイル、バイナリファイル、UTF-8として無効なファイルは、別の形式にデコードするのではなく、ファイル名を示して読み込みを拒否します。誤ったデコードは検出結果を捏造してしまうためです。UTF-16をUTF-8として読み込むと、2バイトごとにファイル内には存在しない不可視文字が発生します。

フォルダーまたはワークスペース全体をスキャンする

検出機能は、開いているドキュメントを読み取ります。スキャンはディスク上の多数のファイルを読み取り、1 つのレポートを生成します。

• ワークスペース全体：コマンドパレットから Unicode-LE: Scan Workspace for Unicode Risks を実行します。
• 1 つのフォルダー：エクスプローラーでフォルダーを右クリックして Scan Folder for Unicode Risks を選ぶか、Unicode-LE: Scan Folder for Unicode Risks を実行してフォルダーを選択します。

レポートには、検出結果があった各ファイルと、判定できなかった各ファイルのセクションが含まれます。

# Unicode-LE report

3 finding(s) in 4 file(s) scanned; 2 file(s) not fully judged.

## `latin1.txt`

- **Not judged** (`binary_or_undecodable`): not valid UTF-8 at byte 3: the encoding is unknown and is not guessed

## `notes.txt`

- **Not judged** (`encoding_unknown`): a UTF-16LE byte-order mark: this reads UTF-8 only, and decoding UTF-16LE as UTF-8 would invent invisible and unassigned characters that are not in the file

## `src/login.ts`

- **1:7** · mixed-script · high · U+0430
- **1:8** · confusable · high · U+0430 (resembles U+0061)
- **1:17** · bidi-control · high · U+202E

各検出結果には、その重要性を説明する文も含まれますが、ここでは省略しています。

スキャンで読み取られるもの。 ファイルはディスクから読み取られるため、保存されていない編集内容は反映されません。安全上のサイズ制限を超えるファイルは読み取られません。UTF-8 以外のテキストファイルは、理由とともにレポートに記載されます。文字コードを推測したり、黙って読み飛ばしたりすることはありません。スキャンは 5,000 ファイルまたは 10,000 件の検出結果に達すると停止します。レポートの末尾には、読み飛ばした項目ごとに 1 行ずつ記載されます。

スキップされたスキャンは問題がないことの証明にはなりません。 デフォルトでは、依存関係のフォルダー、プロジェクトの .gitignore で除外されるファイル、バイナリファイルは読み取られません。これらの中に隠れた文字は報告されません。すべてを検査するには、3 つのスイッチをオフにしてください。

スキップ対象と変更方法。 3 つのスイッチはデフォルトでオンになっており、それぞれを設定から個別にオフにできます。

スイッチをオフにせずに結果を調整できるリストが 2 つあります。さらにスキップするには、scanExcludes にパターンを追加します。スイッチによってスキップされるものを読み取るには、scanAlwaysInclude に追加します。

{
	// Also skip the test fixtures.
	"unicode-le.workspace.scanExcludes": ["**/fixtures/**"],
	// Read the vendored code, though the built-in list skips it.
	"unicode-le.workspace.scanAlwaysInclude": ["**/vendor/**"]
}

Unicode-LE: Open Settings を実行すると、これらすべてが設定エディターに表示されます。

問題パネルでの表示。 unicode-le.workspace.scanProblemsEnabled をオンにすると、各検出結果が該当行の警告としても表示されます。スキャンを実行するたびに、前回の結果は置き換えられます。メッセージには文字そのものではなく、コードポイントが表示されます。

スキャンに適用する設定については、設定を参照してください。

CLI

同じ画面をターミナルや CI のステップから実行できます。拡張機能と同じコーパス crate/ を共有する Rust 製 CLI です。コーパスは crate/fixtures/ にあり、両者が同じ文書を異なる方法で読み取ることはありません。同じコマンドラインは、Node があり Rust がないマシン向けに unicode-le として npm からも提供されており、CI では 3 つのオペレーティングシステム上でクレートとバイト単位で一致することを確認しています。

npm からインストール（unicode-le）するか、crates.io からインストール（unicode-le）してください。どちらからインストールしても、同じ unicode-le コマンドが使えます。

npm install -g unicode-le   # or run it once: npx unicode-le
cargo install unicode-le

unicode-le .                          # every finding in the tree; JSON on stdout when piped
unicode-le --fail-on bidi .           # in CI, for the CVE and nothing else
unicode-le --script Han,Cyrillic src/ # a translated tree, judged rather than refused
unicode-le mcp                        # the same screen over MCP on stdio

終了コードが API です — 0 は問題なし、1 は --fail-on が対象とする検出結果あり、2 は質問の形式が不正（または拒否が 1 件でもある状態での --strict）を表します。

コマンド

既定では、どのコマンドにもキーは割り当てられていません。エディターの キーボードショートカット で、任意のコマンドにキーを割り当ててください。

設定

言語

英語以外の12言語に対応しています。

ドイツ語・スペイン語・フランス語・インドネシア語・イタリア語・日本語・韓国語・ ポルトガル語（ブラジル）・ロシア語・ウクライナ語・ベトナム語・中国語（簡体字）

両方の部分に対応しています。マニフェスト（コマンドのタイトル、設定名と説明）と、拡張機能の実行中に表示されるすべての内容（通知、ステータスバー、レポートの見出し）です。各検出結果の詳細はエンジンの英語表記で、CLI および MCP サーバーのものと同一です。

プライバシーとセキュリティ

• ネットワークアクセスはありません。 拡張機能がデータを外部に送信することはありません。telemetryEnabled 設定は、確認可能なローカルの出力チャネル（Unicode-LE）にイベントを書き込むだけです。
• MCP サーバーも同じ方針です。 引数としてコンテンツを受け取り、データを返します。ファイルシステムへのアクセス、ネットワーク呼び出し、テレメトリはありません。check:mcp-bundle は、サーバーが ASCII 以外の文字を stdout に書き込む場合、ビルドを失敗させます。
• エラー通知では、ホームディレクトリと認証情報のような形式の文字列を伏せます。
• 評価を促すプロンプトは、最大2回だけ表示されます。 3回目の正常な使用時に、評価してもらえるかを拡張機能が一度尋ねます。Later を選択した場合、またはプロンプトを閉じた場合は、20回目にもう一度表示されます。Don't Ask Again を選ぶと、以降は表示されません。notificationsLevel を自分で important または silent に設定すると、プロンプトは無効になります。回数は VS Code の拡張機能ストレージに保存され、外部に送信されることはありません。Rate を選ぶと、インストール元の掲載ページ（VS Code Marketplace または Open VSX）がブラウザーで開きます。

ドキュメント

パフォーマンス

Apple M5 Pro、24 GB RAM、Node 24.3.0 でウォームアップ後に 7 回実行した中央値です。入力は script/benchmark.ts によって生成され、リポジトリには含まれていないため、上記のサイズは 実測値そのものです。bun run benchmark で再現できます。

これらはマシン固有の値であり、CI では保証されません。ビルドを左右するベンチマークで分かるのは、 ランナーがどれだけビジーだったかだけです。

テスト

19 ファイルにわたる 224 件のテストケースに加え、実際の VS Code 拡張機能ホストで実行する 統合テストスイートと、ビルド済みの .vsix をクリーンなプロファイルにインストールする エンドツーエンドテストがあります。

実際の実行結果である coverage/coverage-summary.json と coverage/test-results.json から scripts/coverage-readme.js によって生成されます。このセクションに ずれがあると CI は失敗します。bun run test:coverage で再現できます。ケース数は vitest が出力する 値です。

LE ファミリーのその他のツール

あらゆるモデルが直面する作業に対応する、単機能ツールが16個あります。それぞれに Rust CLI と MCP サーバーが付属します。詳細はこちら：letools.dev

取り出す

• String-LE — コードベース内のすべての文字列を抽出し、人が読めるようにします
• Numbers-LE — コードベース内のすべてのハードコードされた数値を抽出し、人が確認できるようにします
• Units-LE — 単位付きの数量をすべて抽出して正規化し、曖昧なものは名前を示して対象外にします
• Dates-LE — すべての日付とタイムスタンプ、およびそれぞれが解決される正確な時点を抽出します
• IDs-LE — UUID、ULID、NanoID、ObjectId、Snowflakeをすべて抽出し、内部に含まれる時刻をデコードします
• IPs-LE — IPアドレス、CIDRブロック、MACアドレスをすべて抽出し、正規化してスコープ別に分類します
• URLs-LE — コードベース内のすべてのURLを、プロトコルと正確な位置情報とともに抽出します
• Paths-LE — コードベース内のすべてのファイルパスを抽出し、現在も何かを指しているかどうかを示します
• Colors-LE — コードベース内のすべての色を抽出し、パレットにない色を示します

チェックする

• Regex-LE — コードベース内のすべての正規表現を検出し、壊滅的なバックトラッキングを引き起こす可能性があるものを報告します
• Versions-LE — リポジトリ内のマニフェスト間で、同じ依存関係のバージョン制約が異なる箇所を検出します
• i18n-LE — プロジェクトで使用している i18n ライブラリを特定し、そのライブラリのルールに基づいてカタログを監査します
• Scrape-LE — スクレイパーを書く前にページをスクレイピングできるか確認し、判定できない場合はその旨を示します

保護する

• Secrets-LE — コードベース内のハードコードされた認証情報を検出し、レポートに表示することはありません
• EnvSync-LE — ディレクトリツリー内の dotenv ファイルを比較し、どのファイルにどのキーがないかを示します
• Unicode-LE — 意味を隠す Unicode を検出します。双方向制御文字、不可視文字、ホモグリフ、混在スクリプトが対象です

それぞれが独立しています。共有クレートも、公開されたコアもありません。2つのツールが同じ答えにたどり着くとすれば、それはその答えが2度正しかったからです。

お問い合わせ — nolindnaidoo.com · GitHub · LinkedIn

nolindnaidoo によるその他のプロジェクト

Rust — pixelcoords と pixelactions は一連のループを構成します。pixelcoords が 場所 に答え、pixelactions がそこで 操作 します。それぞれ独自のツールと独自の方針を持ち、LE ファミリーには属しません。

• pixelcoords — 画面を固定し、領域を指定して、ピクセル単位で正確な座標と切り抜きを取得します pixelcoords.dev · crates.io · docs.rs
• pixelactions — 人が検証した座標を受け取り、操作を実行して、反映されたことを確認します pixelactions.dev · crates.io · docs.rs

ライセンス

MIT © nolindnaidoo