mcpField
T
tavus-overview

tavus-overview

github.com/tavus-engineering其他958 次安装39 周前更新
代码仓库

关于 tavus-overview

tavus-overview 介绍 AI 研究实验室 Tavus 及其实时视频对话和视频生成产品,涵盖 CVI 组件、自研模型、API 与应用场景,面向开发者和组织。

主要功能

  1. 01实时视频对话平台
  2. 02Replica、Persona 和 Conversation 组件
  3. 03Phoenix-4、Raven-1 与 Sparrow-1 模型
  4. 04视频生成与 Replica API
  5. 05具备持久记忆的 PALs

适用场景

  1. 01在应用中嵌入视频对话
  2. 02根据脚本或音频生成个性化视频
  3. 03用训练视频创建数字分身
  4. 04提供辅导或客户支持

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/tavus-engineering/tavus-skills --skill tavus-overview

安装后在 Claude Code 中输入/tavus-overview确认已加载。

详细介绍

Tavus 概览

Tavus 是一家总部位于旧金山的 AI 研究实验室,致力于开创 人类计算——教会机器展现人类的特质。

使命

“自动化提升了效率,却让数字互动失去了共情、细腻和临场感。”

Tavus 致力于弥合人与机器之间的鸿沟,打造能够实时观察、聆听、理解并以情商做出回应的 AI。不是长着脸的聊天机器人,而是真正面对面的数字临场体验。

什么是人类计算?

人类计算是一种范式转变:让计算适应人,而不是让人适应计算。

核心原则:

  • 人性化 UI:像与另一个人交谈一样自然地与 AI 互动——无需命令,也没有学习门槛
  • 临场感优先于自动化:让 AI 感觉像是某个人,而不是某种东西
  • 情商:读懂语气、表情和语境,而不只是文字

对话式视频界面(CVI)

CVI 是 Tavus 的旗舰产品——一个 API 优先的平台,用于实现实时、面对面的 AI 对话。

CVI 与聊天机器人/虚拟形象的不同之处:

  • 实时互动对话(不是预先渲染的视频)
  • 轮次间延迟约为 600ms
  • 读取面部表情、解读语气并实时调整
  • 全面编排:函数调用、RAG、记忆
  • 支持白标、可嵌入,可用于企业级场景

CVI 组件:

组件功能
Replica视觉虚拟形象——AI 的面容和外观
Persona行为、个性、LLM 配置、系统提示词
Conversation连接 Replica 和 Persona 的实时 WebRTC 会话

模型栈

Tavus 构建专有模型,让它们协同工作,营造人类般的临场感:

Phoenix-4(渲染)

用于照片级真实人脸渲染的高斯扩散模型。可合成高保真面部行为,包括:

  • 微表情和细微动作
  • 全脸动画(不只是嘴唇)
  • 实时情绪响应
  • 身份保持
Raven-1(感知)

让 AI 能够“看见”的多模态感知模型:

  • 读取面部表情和肢体语言
  • 检测情绪和意图
  • 分析环境和屏幕内容
  • 具备语境感知能力
Sparrow-1(轮流发言)

基于 Transformer 的对话模型,可实现自然的对话节奏:

  • 知道何时倾听、暂停或发言
  • 响应延迟约为 600ms
  • 自然应对打断
  • 支持多语言

产品

对话式视频界面(CVI)

面向 API 优先平台的开发者,可嵌入实时 AI 视频对话。

  • 完整流水线:感知 → STT → LLM → TTS → 渲染
  • 可自定义层(接入你自己的 LLM/TTS)
  • 知识库(RAG)和记忆
  • 支持用于外部集成的函数调用
视频生成 API

根据脚本或音频异步生成视频。

  • 大规模生成个性化视频
  • 自定义背景和水印
  • 支持透明背景
Replica API

通过 2 分钟训练视频创建数字孪生。

  • 影棚级保真度
  • 提供现成 Replica
  • 身份保持
PALs(个人 AI 生命体)

面向消费者的 AI 伴侣,能够记忆、成长并建立联系。

  • 文字、电话或视频聊天
  • 持续记忆
  • 主动问候

使用场景

  • 销售与招聘:AI SDR、面试官、资格筛选流程
  • 教育:辅导、培训、入职引导
  • 医疗保健:患者伴侣、培训模拟
  • 客户支持:全天候面对面协助
  • 个人用途:伴侣、教练、效率助手

关键数据

  • 支持超过 20 亿次互动
  • 轮次间延迟约为 600ms
  • 支持 30 多种语言
  • 符合 SOC 2、GDPR、HIPAA 要求(企业级)

链接

平台与文档
资源
社区
开始使用

公司

  • 成立时间:2021 年,由 Hassaan Raza 和 Quinn Favret 创立
  • 总部:旧金山
  • 投资方:Sequoia、Scale Venture Partners、Y Combinator、HubSpot
  • 类别:人类计算 / AI 研究实验室

定价套餐

套餐分钟数数字分身并发数
免费25仅限库存数字分身1
入门版($59/mo)1001 个自定义数字分身3
增长版($397/mo)1,2503 个自定义数字分身15
企业版自定义自定义自定义 + SLA

伦理与信任

Tavus 的构建原则:

  • 知情同意:使用的每个肖像都已获得许可
  • 系统透明:没有隐藏的操控手段
  • 全面披露:你会了解这项技术的运作方式
  • 偏见审查:主动监测并接受顾问监督

评论

支持 Markdown