mcpField
A
assemblyai-transcription

assemblyai-transcription

github.com/calesthio创意与媒体219103 次安装15 周前更新
代码仓库

关于 assemblyai-transcription

供媒体制作 Agent 使用的 AssemblyAI 专用技能,可将录制或实时语音转为转录稿。内容涵盖批处理、短音频和流式流程,以及说话人区分、字幕、时间戳和制作管理。

主要功能

  1. 01录音、同步及流式转录
  2. 02说话人区分与识别
  3. 03词级时间戳和字幕导出
  4. 04模型与功能选择指南
  5. 05转录产物管理

适用场景

  1. 01为录制媒体制作字幕
  2. 02活动期间生成实时字幕
  3. 03区分访谈中的说话人
  4. 04为片段选取准备转录稿

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill assemblyai-transcription

安装后在 Claude Code 中输入/assemblyai-transcription确认已加载。

附带文件EVAL.md

详细介绍

面向媒体制作 Agent 的 AssemblyAI 转录

当制作任务需要从录制或实时语音中可靠地生成转录内容,尤其是转录内容需要用于字幕、片段选择、说话人轮次、节目摘要、章节划分、翻译、审核或合规审查时,请使用 AssemblyAI。

请将其视为一项提供商技能,而非通用的 ASR 入门指南。在生产环境中实现代码前,请先查看 AssemblyAI 的最新文档,因为模型名称、定价、附加功能、速率限制和数据保留设置都可能变化。以下信息已根据 AssemblyAI 官方文档于 2026-07-10 核实。

先选择产品接口

AssemblyAI 提供了多个看似相似、但服务于不同生产需求的接口。

已记录的事实:

生产经验法则:

  • 对于已完成的媒体素材,即使录制最初是从实时会话开始的,也优先使用预录音 STT。异步模型可利用完整文件上下文,更适合生成最终字幕、清理转录内容、划分章节和提取引述。
  • 对于实时字幕或语音 Agent,可在活动期间使用实时 STT,并可选择在活动结束后异步重新转录最终录音,以生成适合发布的转录内容。
  • 仅当片段刻意保持较短,且需要立即响应、无需处理作业生命周期时,才使用同步 STT。

模型和功能选择

已核实的文档事实,核实日期:2026-07-10:

  • 预录制模型包括 Universal-3.5 Pro 和 Universal-2。AssemblyAI 将 Universal-3.5 Pro 列为准确度最高、速度最快的预录制模型,支持 18 种语言、原生代码切换、上下文提示,以及最多 1,000 个关键术语;Universal-2 支持 99 种语言和最多 200 个关键术语。来源:https://www.assemblyai.com/docs/getting-started/models
  • 流式模型包括 Universal-3.5 Pro Streaming、Universal-Streaming Multilingual 和 Universal-Streaming English。Universal-3.5 Pro Streaming 支持 18 种语言和最多 100 个关键术语;Universal-Streaming Multilingual 支持英语、西班牙语、葡萄牙语、德语、法语和意大利语;Universal-Streaming English 仅支持英语。来源:https://www.assemblyai.com/docs/getting-started/models
  • Medical Mode 是一项附加功能(domain: "medical-v1"),适用于医疗术语,需单独计费。AssemblyAI 文档说明,该功能适用于英语、西班牙语、德语和法语的预录制及流式模型。来源:https://www.assemblyai.com/docs/getting-started/models
  • 截至 2026-07-10,文档中公布的当前模型价格为:预录制模型 Universal-3.5 Pro 为 $0.21/小时,Universal-2 为 $0.15/小时;流式模型 Universal-3.5 Pro Streaming 为 $0.45/小时,Universal-Streaming Multilingual 为 $0.15/小时,Universal-Streaming English 为 $0.15/小时。估算成本前,务必重新确认价格。来源:https://www.assemblyai.com/docs/getting-started/models 和 https://www.assemblyai.com/pricing

选择规则:

  • 对英语或支持语言的访谈、播客、社交媒体短片和字幕,如果准确度和说话人分离质量很重要,请使用 Universal-3.5 Pro。
  • 如果广泛的语言覆盖或较低成本比最新模型更重要,请使用 Universal-2。
  • 对实时 Agent 辅助、包含较难词汇的实时字幕、多语言代码切换或带说话人分离的实时会议,请使用流式 Universal-3.5 Pro。
  • 对注重成本的实时字幕,如果语言种类简单,且延迟比后期制作准确度更重要,请使用价格较低的流式模型。
  • 对姓名、品牌词汇、节目名称、技术术语、产品名称、拼写和常用短语,添加关键术语或提示词。关键术语应具体,避免塞入通用词汇。

输入与制品托管

文档记录的事实:

生产经验法则:

  • 上传前,将生产媒体规范化为纯音频中间格式,以确保流程可重复:主档案使用 WAV 或 FLAC,类似电话语音的内容使用 16 kHz 单声道 WAV,或在传输大小重要时使用高质量压缩副本。原始媒体应单独保留。
  • 维护任务台账,记录:源资产路径/哈希、说话人/声道备注、同意状态、请求 JSON、区域端点、模型、功能标志、转录 ID、提交时间、完成时间、成本估算、输出文件路径和删除期限。
  • 不要将临时 AssemblyAI URL 作为唯一可信来源。请将字幕、已脱敏音频、转录 JSON 和任何衍生编辑制品下载到生产存储中。

说话人分离与身份识别

文档记录的事实:

生产经验法则:

  • 对于播客/访谈后期制作,有独立声道时优先使用独立声道。每位说话人都稳定地位于单独声道时使用多声道;录音为单声道或声道混合时使用说话人分离。
  • 如果制作备注中已知确切的说话人数,就设置该数量;否则使用合理的最小值/最大值范围,并留出少量余量。
  • 发布字幕、引述、片段或法律/医疗笔记前,始终由人工检查说话人标签。

字幕、时间戳和编辑数据

已记录的事实:

生产启发式:

  • 对于广播风格的字幕,可将 AssemblyAI 的 SRT/VTT 作为第一版带时间轴的草稿,然后按平台风格规范进行调整:阅读速度、行长、句子切分、说话人标签、脏话政策和统一的大小写规则。
  • 对于社交媒体的烧录字幕,可使用词级时间戳制作卡拉 OK 式或高亮动画,但应在合成器中平滑微小的时间差。除非风格有意保留逐字口语,否则不要为每个不流畅之处制作动画。
  • 对于剪辑决策,应导出持久化的转录 JSON,以及类似 EDL 的片段数据:speaker、start_ms、end_ms、text、confidence、source_transcript_id 和审阅者备注。

语言、语码转换和翻译

已记录的事实:

生产启发式:

  • 对于多语言成片字幕,应先生成并质检源语言字幕,再进行翻译。不要假设译文字幕会保留原有换行、阅读速度或惯用表达。
  • 对于语码转换语音,应选择支持相关语言的模型,并提供上下文/关键词,以便识别姓名和领域术语。如果文件较短或语言置信度较低,可路由到已知语言,或单独运行一次语言检测。
  • 对于配音/本地化,应将源转录、源字幕、译文和人工本地化备注作为独立素材保存。

语音理解与护栏

当基于转录文本生成的生产内容需要结构化、审核或安全处理时,请使用语音理解与护栏。不要将这些输出与基础转录文本混淆。

已记录的事实:

生产实践启发:

  • 将摘要、主题、关键短语、实体和情感用作辅助索引,供制作人员参考,而不要将其视为可直接发布的编辑结论。
  • 查找片段时,应结合语音理解信号、转录文本搜索和人工审核:强烈情感、命名实体和主题转变可以帮助找到候选片段,但编辑必须核实上下文。
  • 对于 PII 工作流,应在最早的内容边界进行脱敏,并在摘要或翻译后重新检查 PII,因为衍生字段可能会重新引入敏感文本。

Webhook、生命周期、扩展和重试

文档记录的事实:

生产环境经验法则:

  • 批量任务优先使用 webhook,而不是频繁轮询。保留轮询备用方案,并加入随机抖动、逐步延长轮询间隔。
  • 大规模导入前,先测试有代表性的样本。在提交完整存档前,验证转录质量、功能标志、webhook、存储、删除策略和成本。
  • 对于批量任务,根据实测周转时间确定提交速率,并将进行中的任务数控制在账户限制的约 80% 以下。
  • 将 4xx 视为需要检查的配置、身份验证或输入错误,已记录的限流情况除外;将 5xx 视为可重试错误,使用指数退避和死信队列。

安全、隐私、同意与权利

已记录的事实:

生产环境要求:

  • 转录前确认已获得录音同意和相关权利。即使音频已获准用于有限用途,转录也可能生成新的敏感文本产物。
  • 对于未成年人、健康数据、法律事务、内部会议、未发布产品或客户通话,必须明确设置数据控制:使用付费账户、退出模型改进计划、设置适当的 TTL、涉及 PHI 时签署 BAA,并记录删除流程。
  • 不要将 API 密钥放入共享媒体文件夹、客户端应用、字幕、日志或项目文件中。请使用环境变量或机密管理器。
  • 如果使用欧盟端点/数据驻留,请确保每个步骤都使用正确的端点,包括适用的 LLM Gateway 或 Sync/Streaming 变体。

生产 QA 清单

发布字幕、片段、编辑内容或衍生文本前,请运行此清单:

  1. 源文件管理:原始媒体文件存在,已记录哈希值/路径,并记录同意/权利状态。
  2. 音频准备:已检查声道布局、采样率、削波/噪声、串音和时长;已转码并重新检查有问题的文件。
  3. 请求完整性:模型、语言、关键术语/提示词、说话人分离/声道模式、PII/脱敏和附加功能均符合生产意图。
  4. 生命周期:已存储转录 ID;状态为已完成;没有遗漏的 webhook;没有孤立的排队任务;已记录费用和时长。
  5. 转录审核:已审核专有名词、首字母缩写、产品名称、数字、医疗/法律术语和不清晰片段。
  6. 说话人审核:仅在人为确认后,才将说话人标签映射到姓名/角色。
  7. 字幕审核:已检查 SRT/VTT 换行、阅读速度、时间、脏话政策和无障碍标签。
  8. 衍生产物审核:已结合转录上下文检查摘要、章节、主题、翻译、情感和实体。
  9. 隐私审核:已验证文本、单词、话语、摘要、翻译、实体、文件名、日志和脱敏音频中的 PII 脱敏情况。
  10. 保留:已将输出下载到受控存储中;已安排 TTL/删除要求;在需要时已测试转录删除。

示例:播客转录、字幕、章节和片段索引

生产意图示例:从一档 75 分钟、由两位主持人与一位嘉宾参与的播客中,制作可直接发布的转录包。

工作流:

  1. 从剪辑母版中提取音频;保留原始媒体,并导出适合语音处理的 WAV。
  2. 使用 Universal-3.5 Pro 提交预录任务;如果语言不确定,则启用语言检测;设置 speaker_labels: true;如果不确定准确的轮次,可指定说话人范围,例如最少 2 位/最多 4 位;并为节目名称、主持人、嘉宾、赞助商和技术词汇添加关键术语。
  3. 使用 webhook 接收完成通知,并将转录 ID 存入项目台账。
  4. 下载完整 JSON、SRT、VTT、段落和话语。
  5. 通过对段落分组并使用 LLM Gateway 或文档所述的摘要功能来生成章节,然后审核编辑准确性。
  6. 根据高置信度引语片段、情感/主题/关键短语信号和制作人备注,建立片段索引。
  7. 由人工 QA 审核说话人映射、字幕、姓名、时间戳以及任何赞助商/法律相关内容。

预期结果:

  • 带有词级时间戳的持久化转录 JSON。
  • SRT/VTT 字幕草稿。
  • 带说话人标签的话语列表。
  • 经过审核并包含起止时间的章节列表。
  • 包含源时间码和置信度/审核状态的候选片段。

失败模式:

  • 串音时嘉宾和主持人的标签互换。
  • 赞助商/产品名称需要关键术语或人工更正。
  • SRT 换行可用,但未针对目标平台进行样式设计。
  • 摘要夸大或掩盖不确定性。

变体:

  • 如果每位说话人使用单独的声道,请使用多声道而非说话人分离,同时考虑按声道计费。
  • 如果节目包含敏感的听众来电,请启用 PII 脱敏,并单独审核衍生摘要/实体。
  • 如果播客使用多种语言,请在批量处理前,使用样本明确测试模型/语言路径。

示例:实时活动字幕及最终无障碍字幕

生产场景示例:为线上研讨会添加实时字幕,并在活动结束后发布校正后的字幕。

工作流:

  1. 活动期间,将麦克风或调音台输出流式传输到使用 Universal-3.5 Pro Streaming 的 Real-time STT,并设置合适的 sample_rate、包含演讲者姓名和产品词汇的关键词,以及关机时发送的终止消息。
  2. 除非用户体验专为临时文本设计,否则公开字幕仅显示已定稿的轮次。
  3. 记录会话开始和结束时间、会话时长,以及任何 WebSocket 关闭事件。
  4. 活动结束后,使用预录音频 STT 转录最终录音,以生成发布用字幕。
  5. 导出 SRT/VTT,并对照视频进行字幕质量检查:时间、阅读速度、行长、姓名、缩略词和无障碍标签。

预期结果:

  • 活动期间提供低延迟实时字幕。
  • 根据完整录音生成质量更高的最终字幕。
  • 成本记录区分流式会话时长与异步音频时长。

故障模式:

  • 活动结束后 WebSocket 仍保持打开,导致成本增加。
  • 临时字幕显示不稳定的文本。
  • 实时转录遗漏未纳入关键词的术语。
  • 最终异步字幕与实时字幕不同;以最终文件为准。

变体:

  • 对于浏览器采集,在服务端生成临时流式令牌。
  • 对于多语言活动,确认模型支持的语言,并在直播前测试语码转换。
  • 对于医疗或受监管活动,使用付费账户的数据控制,根据需要签署 BAA,并明确保留设置。

示例:已脱敏的访谈审阅包

生产场景示例:转录客户访谈,同时尽量减少编辑人员接触到的个人身份信息(PII)。

工作流:

  1. 确认已获得同意,并明确访谈内容的允许用途。
  2. 启用 PII 脱敏,并设置相关策略,例如人名、电话号码、电子邮件地址、街道地址或账户标识符。
  3. 如果编辑人员需要听取音频,请启用音频脱敏,并在 24 小时可用时限内下载。
  4. 除非受限审阅人员确实需要原始文本,否则不要启用 redact_pii_return_unredacted。
  5. 先决定下游衍生产物是否可能包含 PII,再运行摘要和实体提取;分别审查衍生字段。
  6. 将脱敏产物存储在常规编辑工作区中;如有未脱敏产物,则将其存储在受限存储中,并跟踪 TTL 和删除情况。

预期结果:

  • 脱敏后的转录文本,可供广泛的编辑审阅使用。
  • 可选的脱敏音频文件,用于选择片段。
  • 受限审计记录,包含转录 ID、PII 策略和删除截止日期。

故障模式:

  • 尽管主 text 字段已脱敏,实体、摘要或翻译输出中仍残留 PII。
  • 团队下载前,脱敏音频链接已过期。
  • 过度脱敏导致引述无法使用;应通过受限的未脱敏审阅来解决,而不是暴露所有内容。

变体:

  • 对于公开推荐语,在自动脱敏后进行人工法律与隐私审查。
  • 对于内部分析,仅保留汇总笔记,并在获批的保留期限后删除源转录内容。

来源索引

已于 2026-07-10 核实的官方来源:

评论

支持 Markdown