together-evaluations

Together AI 评估

概述

当用户需要托管的大模型作为评判者的工作流，而不是临时搭建的提示词循环时，使用 Together AI 评估。

核心评估类型：

• 分类：将输出分配到不同标签
• 评分：按数值等级评定输出
• 比较：在控制偏差的情况下比较两个候选输出

如果工作流仍通过 Together AI 的评估系统运行，本技能也涵盖用作评判者或目标的外部提供商。

适用场景

• 对提示词变体、模型或产品响应进行基准测试
• 评定质量、安全性、政策合规性或任务成功率
• 对模型输出进行 A/B 比较
• 使用上传的数据集构建可重复的评估任务
• 异步执行后以编程方式获取结果

转交给其他技能

• 对于一次性推理或手动编写的评判提示词，使用 together-chat-completions
• 对于批量离线生成（而非评估），使用 together-batch-inference
• 如果用户想要改进模型，而不只是衡量模型，使用 together-fine-tuning
• 仅当评估目标本身是专用端点时，使用 together-dedicated-model-inference

快速路由

• 分类 / 评分 / 比较任务设置
  • 从 scripts/run_evaluation.py 或 scripts/run_evaluation.ts 开始
  • 阅读 references/api-reference.md，了解确切的请求格式
• 数据集格式
  • 阅读 references/api-reference.md 中的数据集部分
• 数据集列、Jinja2 模板或预生成的响应
  • 阅读 references/api-reference.md 中的数据集和模板部分
  • 在脚本中使用 --eval-column、--model-a-column 或 --model-b-column
• 使用支持视觉的模型评估图像输入
  • 阅读 references/api-reference.md 中的图像输入部分
  • 在数据集中添加 image_data_urls 列（包含 base64 数据 URL）；模型和评判者都必须支持视觉
• 将外部提供商用作评判者或目标
  • 阅读 references/api-reference.md 中的模型来源和提供商部分
  • 使用脚本，并设置 --judge-model-source external、--eval-model-source external 或比较侧来源标志
• 轮询、列出或下载结果
  • 使用 references/api-reference.md 中记录的结果获取端点
  • 如果需要在本地获取逐行 JSONL 文件，请在脚本中使用 --download-results

工作流

1. 确定用户需要分类、评分还是比较。
2. 编写代码前定义数据集架构。
3. 将数据集上传为评估文件，并保存返回的文件 ID。
4. 明确配置评判模型和目标模型，尤其是在混用多个提供商时。
5. 轮询状态直至任务完成，然后下载结果文件进行分析。

高优先级规则

• Python 脚本需要 Together v2 SDK（together>=2.0.0）。如果用户使用的是旧版本，必须先升级：uv pip install --upgrade "together>=2.0.0"。
• 本仓库中的当前 SDK 示例在上传评估文件时使用 check=False，因为本地文件验证可能会错误地判定评估数据集。
• 将数据集架构视为产品契约的一部分；字段不一致会造成下游混乱。
• 最好在数据集中预先包含两个候选响应，再进行比较评估。
• 明确配置评判者。隐藏的默认设置会增加基准测试结果的解读难度。
• 当可重复性很重要时，使用 Together AI 托管的评估任务，而不是重新构建手动评判循环。

资源地图

• 完整 API 参考：references/api-reference.md
• 数据集格式、Jinja2 模板和提供商快捷方式：references/api-reference.md
• Python 工作流：scripts/run_evaluation.py
• TypeScript 工作流：scripts/run_evaluation.ts

官方文档

• AI 评估
• 评估 API