scaling-law-tracker

スケーリング則トラッカー

規模を拡大することで適切な成果が得られているかを測定し、対数–対数プロットを目視で確認するのではなく、定量化します。

ワークフロー

1. スケーリングする軸と指標を定義します。 一度に扱う軸は1つです。データサイズ、パラメーター数、計算量（FLOPs）、またはバッチサイズを選びます。指標が上がるほど良いのか（精度）、下がるほど良いのか（損失）を明記します。
2. 比較可能な実行結果を集めます。 アーキテクチャの系統、データ分布、評価方法を同じにします。比較できない設定では、指数に意味がなくなります。
3. 手作業でフィッティングするのではなく、同梱のスクリプト（以下）でフィッティングと外挿を行います。 対数–対数回帰やオフセット形式は、手作業では微妙な誤りが生じやすいためです。
4. 指数、変曲点、外挿結果を確認します。 曲線からまだ成果が得られているのか、それともこの軸を拡大する価値がなくなる点を過ぎたのかを見極めます。
5. 次の施策を提案します。 この軸をさらに拡大するか、別の軸（データ ↔ モデル ↔ 最適化）に再配分するか、拡大を止めるかを決めます。

同梱のスクリプトでフィッティングする

scripts/fit_scaling_law.py は、べき乗則（y = a·x^b）と、床を持つべき乗則（y = E + a·x^b。頭打ちになる損失に対する Kaplan/Chinchilla 形式）の両方をフィッティングします。また、指数と R² を報告し、目標予算まで外挿するとともに、リソースを2倍にしても有用な相対的改善が得られない箇所を示します。

# Fit val-loss vs. tokens, extrapolate to a larger budget:
python scripts/fit_scaling_law.py \
  --x 1e6 2e6 4e6 8e6 1.6e7 \
  --y 3.10 2.84 2.63 2.48 2.37 \
  --metric "val loss" --lower-better --extrapolate 6.4e7

python scripts/fit_scaling_law.py selftest   # verify the install

--json '{"x":[...],"y":[...],"lower_better":true,"extrapolate":6.4e7}' も指定できます。

出力の読み方

• 指数 b — 対数–対数空間における傾きです。傾きが大きい（|b| が大きい）ほど、この軸の拡大による成果が大きいことを意味します。どの軸にリソースを投入するか決める際に、軸ごとの指数を比較してください。
• R² — 約 0.9 を下回る場合、きれいなべき乗則が成り立たない可能性があります。その旨を明記し、大きく外挿しないでください。
• 収穫逓減の変曲点 — リソースを2倍にしたときの相対的改善がしきい値（デフォルトでは2％）を下回る点のリソース量です。この点を過ぎたら、再配分してください。
• 外挿の範囲 — 最大の実行結果の約10倍を超える予測は大きな誤差を伴います。確約ではなく、事前予測として扱ってください。

ルール

• 比較できない学習設定を比較しないでください。データ、評価方法、またはアーキテクチャの系統が異なる場合、フィッティングは無効になります。
• 実行結果が少ない（5点未満）場合は、不確実性を明記してください。指数の誤差範囲が大きくなります。
• 外挿は、より大きな規模の実行を1回行って検証する仮説であり、測定済みの結果として報告するものではありません。