extentos

Extentos MCP Server

为你的 AI 编码 Agent 提供构建智能眼镜应用所需的工具。

Extentos 是一个 MCP（Model Context Protocol）服务，可让 Claude Code、Cursor 和 Cline 等 Agent 为任何 Android 或 iOS 应用添加智能眼镜功能——摄像头拍摄、语音触发、实时转录和音频播放。工具的行为具有确定性：支持发现、脚手架搭建、验证，以及基于浏览器的模拟器，无需硬件即可进行端到端测试。

目前支持 Meta 智能眼镜（Ray-Ban Meta、Oakley Meta、Meta Ray-Ban Display），并且在设计上采用多厂商架构。

此仓库是 @extentos/mcp-server 的公开主页，用于发布版本、维护变更日志和跟踪问题。该软件包发布在 npm 上。

安装

Claude Code

claude mcp add extentos -- npx -y @extentos/mcp-server@latest

Cursor — 一键安装：

Cline / 任意 MCP 客户端

{
  "mcpServers": {
    "extentos": {
      "command": "npx",
      "args": ["-y", "@extentos/mcp-server@latest"]
    }
  }
}

需要 Node 20+。

Agent 可以用它做什么

工具组	功能
发现	getPlatformInfo、getCapabilityGuide、getCodeExample — SDK 功能目录、按功能分类的 Kotlin + Swift 调用形式，以及规范的端到端模式（语音问答、照片描述、实时转录 UI，……）
脚手架搭建	generateConnectionModule — 为你的应用生成连接 UI、清单和平台配置（Android 或 iOS）
指导	getVoiceCommandGuidance、getPermissions — 提供实现指导，供 Agent 查询，而非自行猜测
验证	inspectIntegration、validateIntegration — 对代码库中的集成进行确定性检查
模拟	createSimulatorSession、getEventLog、getSimulatorStatus — 基于浏览器的模拟器，运行与生产环境相同的 SDK 代码，仅替换传输方式；Agent 驱动模拟器并读取事件日志，以验证行为
生产	getProductionChecklist、getCredentialGuide — 从模拟器到实际眼镜的流程
文档	searchDocs — 捆绑的、有版本管理的文档主题

Agent 通常会执行以下工作流：发现功能 → 搭建连接模块 → 基于 SDK 编写处理程序代码 → 验证 → 进行端到端模拟 → 查看生产环境检查清单。

工具

• getPlatformInfo — SDK 能力目录、版本／制品信息及平台限制
• getCapabilityGuide — Kotlin + Swift 中各功能的调用形式及注意事项
• getCodeExample — 端到端的标准模式（语音问答、照片描述、实时转录 UI，……）
• getMigrationGuide — 从直接使用 Meta DAT 迁移到 Extentos 的映射表和切换计划
• generateConnectionModule — 在应用中搭建连接 UI、清单和平台配置
• getConnectionPageConfig — 读取托管的连接页面配置
• setConnectionPageConfig — 更新托管的连接页面配置
• regenerateConnectionPageFile — 配置更改后重新生成托管的连接页面文件
• adoptConnectionPageFile — 将现有连接页面文件纳入托管配置
• getAssistantConfig — 读取托管的语音助手配置（模型、语音、记忆、唤醒音）
• setAssistantConfig — 更新托管的语音助手配置
• listProjectSounds — 列出为项目上传的自定义音效
• addProjectSound — 为项目上传自定义音效（提示音、唤醒音）
• shutter — 在当前模拟器会话中触发相机快门
• getGatewayUsage — 项目的 AI 网关用量和计量信息
• getCredentialStatus — 查看已配置的凭据（Meta DAT、AI 提供商）
• setCredential — 为项目保存凭据
• getProjectAnalytics — 项目眼镜集成的用量分析
• getVoiceCommandGuidance — 关于语音触发和唤醒短语的实现指南
• getPermissions — 集成在各平台上所需的确切权限集
• inspectIntegration — 读取仓库中集成的当前状态
• validateIntegration — 对集成进行确定性检查（清单、配置、连接）
• createSimulatorSession — 创建用于端到端测试的浏览器模拟器会话
• ensureSimulatorBrowser — 打开或连接该会话的模拟器浏览器标签页
• completeAuthLink — 完成设备代码登录流程
• getEventLog — 读取会话事件日志（传输、音频、相机、语音播报、切换、流、系统）
• injectTranscript — 向运行中的应用注入语音转录，模拟佩戴者说话
• injectAssistantUtterance — 通过一句话端到端驱动语音助手（真实提供商会话）
• assertToolCalled — 等待与名称／参数匹配的助手工具调用事件（Agent 端到端循环）
• getSimulatorStatus — 实时会话状态：阶段、角色、开放流、新鲜度、测试视频
• setSimVideo — 将测试视频传入模拟相机
• setSimDevice — 切换模拟眼镜型号
• getDisplayState — 读取渲染后的显示树和交互元素 ID（Ray-Ban Display）
• injectInput — 驱动显示输入：选择／导航／返回，类似 Neural Band 手势
• injectHardwareButton — 模拟硬件拍摄按钮
• getProductionChecklist — 从模拟器迈向真实眼镜的步骤
• getCredentialGuide — 如何获取和配置 Meta DAT 凭据
• searchDocs — 搜索捆绑的版本化文档主题

各部分如何协作

• 你的应用依赖原生 SDK：com.extentos:glasses（Android，Maven Central）或 Swift 软件包（iOS）
• 你的代码通过各自的处理器类订阅能力原语 — glasses.audio.transcriptions()、glasses.camera.capturePhoto()、glasses.audio.speak()
• 模拟器是在不同底层平台上运行的同一个应用：使用 WebSocket 传输而非 Bluetooth，因此经 Agent 验证的行为也适用于硬件

发现、验证和指导工具可匿名使用。创建浏览器模拟器会话和搭建脚手架需要免费账户 — 如有需要，服务端会引导 Agent（以及你）完成设备代码登录。

社区集成

基于 Extentos 构建并对其进行评估的独立项目：

• EgoFlow — 第一人称视频采集平台。其 extentos 分支通过 Extentos Android SDK 驱动眼镜连接和实时视频，并接入 EgoFlow 现有的 RTMP 传输和后端；该项目已在真实的 Ray-Ban Meta 眼镜上完成端到端验证。
• 语音触发采集 POC — 独立的 MIT 许可 iOS 概念验证。注册的唤醒短语会触发 glasses.camera.capturePhoto，并通过 MCP 工具在浏览器模拟器中无头运行；仓库包含实现代码和运行录屏。

链接

• 文档
• 使用 Agent 入门
• MCP 工具参考
• 智能眼镜生态系统参考

问题与反馈

欢迎提交错误报告和反馈 — 提出问题。该软件包版本尚未达到 1.0；工具接口可能会在次要版本之间发生变化。

如需提交安全问题报告，请参阅 SECURITY.md — 请勿公开提出漏洞问题。

许可证

MIT