huggingface-tokenizers
huggingface-tokenizers について
「tokenizers」「HuggingFace tokenizer」「BPE」「WordPiece」に言及したとき、または「トークナイザーの学習」「カスタム語彙」「トークナイズ」「サブワード」「高速トークナイザー」「テキストのエンコード」について尋ねられたときに使用する
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / eyadsibai/ ltk --skill huggingface-tokenizersインストール後、Claude Code で/huggingface-tokenizersを入力して読み込まれたか確認します。
コメント
Markdown 対応