mcpField
S
scientific-llm-benchmarks

scientific-llm-benchmarks

github.com/akillness测试与质量5396 次安装4 天前更新
代码仓库

关于 scientific-llm-benchmarks

面向研究者和开发者的科学推理与发现领域 LLM 基准参考技能,按 STEM 学科整理基准资料和 YAML 数据,并提供重建列表及获取数据集示例的脚本。

主要功能

  1. 01覆盖多个科学领域的基准
  2. 02Markdown 参考与 YAML 数据
  3. 03重新生成基准列表
  4. 04获取数据集样例行

适用场景

  1. 01查找科学 LLM 评测基准
  2. 02比较不同 STEM 领域基准
  3. 03获取基准数据集样例行

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/akillness/jeo-skills --skill scientific-llm-benchmarks

安装后在 Claude Code 中输入/scientific-llm-benchmarks确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

data/
benchmarks.yaml
examples.json
references/
benchmarks.md
scripts/
fetch_examples.py
generate_readme.py

详细介绍

科学大模型基准测试

本技能提供用于评估大模型科学推理与发现能力的基准测试参考资料。数据来自 Awesome-Scientific-LLM-Benchmarks 仓库。

内容

完整的基准测试列表存储在此技能的本地文件中:

  • 参考列表: references/benchmarks.md
  • 数据(YAML 格式): data/benchmarks.yaml

涵盖的基准测试领域

  • 通用 / 多学科科学: 跨学科 STEM 推理基准测试。
  • 数学: 算术、竞赛、奥林匹克竞赛,以及前沿 / 形式化证明数学。
  • 物理与天文学: 物理奥林匹克竞赛、研究生物理、计算物理和天文学。
  • 化学: 分子性质、反应、逆合成、安全和化学知识。
  • 材料科学: 晶体、材料性质预测和材料科学知识。
  • 生物学与生命科学: 基因组学、蛋白质、生物信息学 Agent、实验方案和研究生物学。
  • Agent 科学与 AI 研究: 能够编写研究代码、运行数据分析、尝试自主发现并开展 ML/AI 研究的大模型 Agent。

辅助脚本

还包含 scripts/ 目录下的 Python 脚本:

  • generate_readme.py:根据 data/benchmarks.yaml 重新生成 Markdown 表格和列表。
  • fetch_examples.py:从数据集元数据中指定的 HuggingFace 数据集 URL 获取真实样本行。

评论

支持 Markdown