scientific-llm-benchmarks

科学分野のLLMベンチマーク

このスキルでは、科学的な推論と発見に関する大規模言語モデルの評価に使用されるベンチマークを紹介します。データはAwesome-Scientific-LLM-Benchmarksリポジトリから取得しています。

内容

ベンチマークの完全なリストは、このスキル内に保存されています。

• 参考資料リスト： references/benchmarks.md
• データ（YAML形式）： data/benchmarks.yaml

対象のベンチマーク分野

• 一般／複数分野の科学： 学際的なSTEM推論のベンチマークです。
• 数学： 算術、競技数学、オリンピック、最先端の数学、形式証明の数学です。
• 物理学と天文学： 物理オリンピック、大学院レベルの物理学、計算物理学、天文学です。
• 化学： 分子特性、反応、逆合成、安全性、化学知識です。
• 材料科学： 結晶、材料特性の予測、材料科学の知識です。
• 生物学と生命科学： ゲノミクス、タンパク質、バイオインフォマティクスエージェント、プロトコル、研究生物学です。
• エージェント型科学とAI研究： 研究用コードを記述し、データ分析を実行し、自律的な発見を試み、ML／AI研究を行うLLMエージェントです。

ヘルパースクリプト

scripts/ 内には、以下のpythonスクリプトも含まれています。

• generate_readme.py：data/benchmarks.yamlからMarkdownの表とリストを再生成します。
• fetch_examples.py：データセットのメタデータで指定されたHuggingFaceデータセットURLから、実際のサンプル行を取得します。