mcpField
A
axiom-ios-ml

axiom-ios-ml

github.com/charleswiltgen开发1.2k178 次安装今天更新
代码仓库

关于 axiom-ios-ml

面向 iOS 开发者的路由技能,适用于自定义端侧机器学习和语音转录工作。它将模型转换、优化、CoreML 实现、诊断和语音任务指向相应技能。

主要功能

  1. 01路由 CoreML 实现与参考任务
  2. 02涵盖模型转换和压缩
  3. 03包括有状态 LLM 与 KV-cache
  4. 04路由语音转录任务
  5. 05指引模型诊断

适用场景

  1. 01选择 PyTorch 模型转换技能
  2. 02查找模型压缩指导
  3. 03规划端侧 LLM 的 KV-cache 实现
  4. 04路由实时或录制音频转录

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/charleswiltgen/axiom --skill axiom-ios-ml

安装后在 Claude Code 中输入/axiom-ios-ml确认已加载。

详细介绍

iOS 机器学习路由器

任何设备端机器学习或语音转文本相关工作都必须使用此技能。

适用场景

在以下情况下使用此路由器:

  • 将 PyTorch/TensorFlow 模型转换为 CoreML
  • 在设备上部署 ML 模型
  • 压缩模型(量化、调色板化、剪枝)
  • 使用大语言模型(LLM)
  • 为 Transformer 实现 KV-cache
  • 使用 MLTensor 拼接模型
  • 构建语音转文本功能
  • 转录音频(实时或录制音频)

与 ios-ai 的边界

ios-ml 与 ios-ai——了解区别:

开发者意图路由器
“使用 Apple Intelligence / Foundation Models”ios-ai — Apple 的设备端 LLM
“在设备上运行我自己的 ML 模型”ios-ml — CoreML 转换与部署
“使用 @Generable 添加文本生成”ios-ai — Foundation Models 结构化输出
“使用 KV-cache 部署自定义 LLM”ios-ml — 自定义模型优化
“使用 Vision 框架进行图像分析”ios-vision — 非 ML 部署
“使用 Apple 预训练的 NLP 模型”ios-ai — Apple 的模型,而非自定义模型

经验法则:如果开发者要转换、压缩或部署自己的模型 → ios-ml。如果使用 Apple 内置 AI → ios-ai。如果进行计算机视觉 → ios-vision。

路由逻辑

CoreML 工作

实现模式 → /skill coreml

  • 模型转换工作流
  • 使用 MLTensor 拼接模型
  • 使用 KV-cache 的有状态模型
  • 多功能模型(适配器/LoRA)
  • 异步预测模式
  • 计算单元选择

API 参考 → /skill coreml-ref

  • CoreML Tools Python API
  • MLModel 生命周期
  • MLTensor 操作
  • MLComputeDevice 可用性
  • 状态管理 API
  • 性能报告

诊断 → /skill coreml-diag

  • 模型无法加载
  • 推理缓慢
  • 内存问题
  • 压缩导致准确率损失
  • 计算单元问题
语音工作

实现模式 → /skill speech

  • SpeechAnalyzer 设置(iOS 26+)
  • SpeechTranscriber 配置
  • 实时转录
  • 文件转录
  • 暂定结果与最终结果
  • 模型资源管理

决策树

  1. 实现 / 转换 ML 模型?→ coreml
  2. 查询 CoreML API 参考?→ coreml-ref
  3. 调试 ML 问题(加载、推理、压缩)?→ coreml-diag
  4. 语音转文本 / 转录?→ speech

避免自我合理化

想法实际情况
“CoreML 只是加载和预测”CoreML 还支持压缩、有状态模型、计算单元选择和异步预测。coreml 涵盖所有这些内容。
“我的模型很小,不需要优化”即使是小模型也能从计算单元选择和异步预测中受益。coreml 涵盖相关模式。
“我只用 SFSpeechRecognizer 就行”iOS 26 提供了准确率更高且支持离线的 SpeechAnalyzer。speech 技能涵盖了现代 API。

关键模式

coreml:

  • 模型转换(PyTorch → CoreML)
  • 压缩(调色板化、量化、剪枝)
  • 用于 LLM 的有状态 KV-cache
  • 用于适配器的多功能模型
  • 使用 MLTensor 拼接管线
  • 异步并发预测

coreml-diag:

  • 加载失败和缓存
  • 推理性能问题
  • 模型导致的内存压力
  • 压缩导致的准确率下降

speech:

  • SpeechAnalyzer + SpeechTranscriber 设置
  • AssetInventory 模型管理
  • 使用暂定结果进行实时转录
  • 音频格式转换

调用示例

用户:“如何将 PyTorch 模型转换为 CoreML?” → 调用:/skill coreml

用户:“压缩我的模型,使其能在 iPhone 上运行” → 调用:/skill coreml

用户:“为我的语言模型实现 KV-cache” → 调用:/skill coreml

用户:“模型首次启动时加载很慢” → 调用:/skill coreml-diag

用户:“压缩后的模型准确率很差” → 调用:/skill coreml-diag

用户:“为我的应用添加实时转录功能” → 调用:/skill speech

用户:“使用 SpeechAnalyzer 转录音频文件” → 调用:/skill speech

用户:“什么是 MLTensor?该如何使用?” → 调用:/skill coreml-ref

评论

支持 Markdown