mcpField
A
axolotl

axolotl

github.com/orchestra-research開発14.1k968 回インストール19 週間前に更新
リポジトリ

axolotl について

axolotl を使う開発者向けの、ドキュメントを基にしたスキルです。APIの案内や設定例、実装・デバッグに役立つリファレンスを提供します。

主な機能

  1. 01APIと機能の案内
  2. 02学習設定の例
  3. 03データセット形式の資料
  4. 04デバッグと実践的な指針

活用シーン

  1. 01FSDPやコンテキスト並列の設定
  2. 02学習データの処理方法の確認
  3. 03axolotl APIの動作の調査

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/orchestra-research/ai-research-skills --skill axolotl

インストール後、Claude Code で/axolotlを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
api.md
dataset-formats.md
index.md
other.md

詳細

Axolotl スキル

公式ドキュメントから生成された、axolotl 開発に関する包括的な支援です。

このスキルを使うタイミング

このスキルは、次のような場合に呼び出されるべきです:

  • axolotl を扱うとき
  • axolotl の機能や API について質問するとき
  • axolotl のソリューションを実装するとき
  • axolotl のコードをデバッグするとき
  • axolotl のベストプラクティスを学ぶとき

クイックリファレンス

一般的なパターン

パターン 1: トレーニングジョブで許容可能なデータ転送速度が出ているかを確認するには、NCCL Tests を実行するとボトルネックを特定しやすくなります。例:

./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3

パターン 2: Axolotl の yaml でモデルが FSDP を使うように設定します。例:

fsdp_version: 2
fsdp_config:
  offload_params: true
  state_dict_type: FULL_STATE_DICT
  auto_wrap_policy: TRANSFORMER_BASED_WRAP
  transformer_layer_cls_to_wrap: LlamaDecoderLayer
  reshard_after_forward: true

パターン 3: context_parallel_size は、GPU の総数の約数である必要があります。例:

context_parallel_size

パターン 4: 例: - GPU が 8 基でシーケンス並列化を使わない場合: ステップごとに 8 個の異なるバッチが処理されます - GPU が 8 基で context_parallel_size=4 の場合: ステップごとに処理されるのは 2 個の異なるバッチだけです(それぞれが 4 基の GPU に分割されます) - GPU ごとの micro_batch_size が 2 の場合、グローバルバッチサイズは 16 から 4 に減少します

context_parallel_size=4

パターン 5: 設定で save_compressed: true を指定すると、モデルを圧縮形式で保存できるようになり、次のような効果があります: - ディスク容量の使用量を約 40% 削減します - 高速な推論のための vLLM との互換性を維持します - さらなる最適化(例: 量子化)のための llmcompressor との互換性を維持します

save_compressed: true

パターン 6: 注意 インテグレーションを integrations フォルダに置く必要はありません。Python 環境のパッケージとしてインストールされていれば、どの場所にあっても構いません。例として、このリポジトリを参照してください: https://github.com/axolotl-ai-cloud/diff-transformer

integrations

パターン 7: 単一サンプルとバッチ化されたデータの両方を扱います。 - 単一サンプル: sample[‘input_ids’] は list[int] です - バッチ化されたデータ: sample[‘input_ids’] は list[list[int]] です

utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)
コード例のパターン

例 1 (python):

cli.cloud.modal_.ModalCloud(config, app=None)

例 2 (python):

cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)

例 3 (python):

core.trainers.base.AxolotlTrainer(
    *_args,
    bench_data_collator=None,
    eval_data_collator=None,
    dataset_tags=None,
    **kwargs,
)

例 4 (python):

core.trainers.base.AxolotlTrainer.log(logs, start_time=None)

例 5 (python):

prompt_strategies.input_output.RawInputOutputPrompter()

リファレンスファイル

このスキルには、references/ に包括的なドキュメントが含まれています:

  • api.md - API ドキュメント
  • dataset-formats.md - データセット形式のドキュメント
  • other.md - その他のドキュメント

詳細な情報が必要な場合は、view を使って特定のリファレンスファイルを読んでください。

このスキルの使い方

初心者向け

基礎的な概念については、getting_started または tutorials のリファレンスファイルから始めてください。

特定の機能について

詳細な情報については、該当するカテゴリのリファレンスファイル(api、guides など)を使用してください。

コード例について

上のクイックリファレンスセクションには、公式ドキュメントから抽出された一般的なパターンが含まれています。

リソース

references/

公式ソースから抽出され、整理されたドキュメントです。これらのファイルには次のものが含まれます:

  • 詳細な説明
  • 言語指定付きのコード例
  • 元のドキュメントへのリンク
  • すばやく移動するための目次
scripts/

一般的な自動化タスク用のヘルパースクリプトをここに追加してください。

assets/

テンプレート、ボイラープレート、サンプルプロジェクトをここに追加してください。

注記

  • このスキルは公式ドキュメントから自動生成されました
  • リファレンスファイルは、ソースドキュメントの構造と例を保持しています
  • コード例は、構文のハイライトをよりよくするために言語を自動判別しています
  • クイックリファレンスのパターンは、ドキュメント内の一般的な使用例から抽出されています

更新

更新されたドキュメントでこのスキルを最新の状態にするには:

  1. 同じ設定でスクレイパーを再実行します
  2. スキルが最新の情報で再構築されます

コメント

Markdown 対応