mcpField
A
auto-editor-transcribe

auto-editor-transcribe

github.com/wyattblueクリエイティブ・メディア5.6k733 回インストール今日更新
リポジトリ

auto-editor-transcribe について

auto-editor-transcribeは、録音やライブ音声を文字起こしし、字幕テキストを基準にメディアを編集するスキルです。Whisper、Parakeet、Apple Speechに対応し、文字起こしの出力や発話語句による区間選択ができます。

主な機能

  1. 01ファイルとマイク入力の文字起こし
  2. 02Whisper、Parakeet、Apple Speechに対応
  3. 03テキスト・SRT・JSONで出力
  4. 04字幕や単語による区間選択
  5. 05対応する字幕サイドカーファイルの読み込み

活用シーン

  1. 01録音から字幕を作成
  2. 02マイク音声をリアルタイムで文字起こし
  3. 03発話のある区間だけを残す
  4. 04指定した発話語句に合わせて映像をカット

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/wyattblue/auto-editor --skill auto-editor-transcribe

インストール後、Claude Code で/auto-editor-transcribeを入力して読み込まれたか確認します。

詳細

音声で文字起こしして編集する

auto-editor の whisper.cpp(Whisper または NVIDIA Parakeet モデル)か、Apple Speech バックエンドを使って音声を文字起こしします。字幕の内容に基づいてタイムラインをカットするには、--edit subtitle/word を使います。

文字起こし — auto-editor whisper

auto-editor whisper <file|:mic> <model> [options]

<model> には ggml モデルのパスを指定します。モデルに応じて、3 つのバックエンドが選ばれます。

  • Whisper:ggml-small.en.bin、ggml-medium.en.bin、ggml-large-v3.bin、… (https://huggingface.co/ggerganov/whisper.cpp)。99 以上の言語に対応し、--translate、 --prompt を使用できます。
  • Parakeet:ファイル名に「parakeet」を含むモデルを指定します。例: ggml-parakeet-tdt-0.6b-v3-q8_0.bin(https://huggingface.co/ggml-org/parakeet-GGUF)。 英語の精度が同程度の場合、Whisper より高速です。言語は 自動検出されます。--translate、--prompt、--language は使用できません。
  • Apple:特別なモデル名 apple を指定すると、Apple 内蔵の文字起こし機能を使用します。 macOS 26 以降が必要です。

ファイルの最初の音声ストリームのみが使用されます。音声は 16 kHz にリサンプリングされ、 デフォルトではテキストが標準出力に表示されます。

auto-editor whisper example.mp4 ggml-medium.en.bin                      # plain text → stdout
auto-editor whisper example.mp4 ggml-medium.en.bin --format srt -o out.srt
auto-editor whisper example.mp4 ggml-parakeet-tdt-0.6b-v3-q8_0.bin      # parakeet backend
auto-editor whisper example.mp4 apple --language en_US                  # macOS 26+

オプション:--format text|srt|json、-o/--output FILE、-l/--language en (デフォルトは自動)、-tr/--translate(→ 英語)、-sw/--split-words(字幕キューごとに 1 語)、 --queue SECS(デフォルトは 30)、--prompt TEXT、--threads N(デフォルトは 4)、 -t/--threshold THRES(デフォルトは 0.04)。

--split-words はすべてのバックエンドで使用できます。最も精度が高いのは Parakeet です。

apple モデルを使う場合は、--language に対応する言語またはロケールを指定してください。 Apple の音声認識は言語を自動検出できないため、auto を指定すると警告を表示して en_US にフォールバックします。--translate と --prompt はどちらもサポートされていないため、 指定しないでください。ある言語を初めて使用すると、Apple の音声モデルがダウンロードされる場合があるため、 ネットワークアクセスが必要です。

マイクのライブ音声を文字起こしする

ファイルの代わりに :mic を指定します。Ctrl-C でキャプチャを安全に停止できます。

auto-editor whisper :mic ggml-medium.en.bin
auto-editor whisper :mic apple --language en_US    # macOS 26+
auto-editor whisper :mic ggml-medium.en.bin -o transcript.srt

マイクの音声を直接文字起こしにストリーミングします。メディアの録音は保存されません。 キャプチャした音声を保持して編集するには、auto-editor :mic を使用してください。 エディターとタイムラインのエクスポートでは、デフォルトで同じディレクトリに ロスレス FLAC の _RECORDING.mka が保存されます。

ライブキャプチャは macOS、Windows、Linux に対応しています。

  • macOS は AVFoundation を使用し、USB マイクを優先してからシステムのデフォルトを使用します。
  • Windows は DirectShow を使用し、USB マイクを優先してから最初の音声キャプチャデバイスを使用します。
  • Linux はデフォルトの ALSA 入力デバイスを使用します。

-o/--output の末尾が .srt、.json、.txt、または .text の場合、 --format が明示的に設定されていなければ、出力形式が推定されます。

発話内容に基づいて編集する

--edit subtitle/word は、一致する字幕行が表示される時間をアクティブ(デフォルトで保持)にします。 既存の字幕ストリームを使うか、まず .srt に文字起こししてから入力してください。

方法次の場合にアクティブ引数(デフォルト)
subtitle / regexpattern(正規表現)が行に一致するpattern=""(空の場合はすべての行に一致)、stream=0、ignore-case=#f
wordvalue が単語として出現するvalue は必須、stream=0、ignore-case=#t

subtitle/regex では pattern は省略できます。指定しない場合、空の正規表現は すべての字幕行に一致するため、--edit subtitle は字幕があるすべての区間を保持します (つまり、発話のない部分はすべてカットされます)。一方、word では value が必須です。

# Keep only sections that have any subtitle (cut the silent gaps between speech)
auto-editor talk.mkv --edit subtitle

# Keep only sections where "introduction" is spoken
auto-editor lecture.mp4 --edit word:introduction

# Regex match (case-insensitive); keep matched lines
auto-editor talk.mkv --edit "subtitle:pattern=(yes|no),ignore-case=#t"

# Cut filler words instead of keeping them: invert with `not`
auto-editor video.mp4 --edit "(not word:um)"
文字起こし → カットのワークフロー

メディアに字幕ストリームがない場合は、入力ファイル名にちなんだ名前のサイドカーファイルを生成します。 talk.mp4 の場合、要求された字幕ストリームが埋め込まれていなければ、 auto-editor は talk.srt(次に talk.ass)を自動読み込みします。

auto-editor whisper talk.mp4 ggml-medium.en.bin --format srt -o talk.srt
auto-editor talk.mp4 --edit word:question        # picks up talk.srt automatically

字幕ストリームを確認するには auto-editor subdump FILE を使います(テキスト字幕のみ対応。 ビットマップ字幕はダンプできません)。

音量や動きに基づくカット、およびテンポについては、auto-editor スキルを参照してください。

コメント