ai-services

AI 服务技能

为 App Platform 应用配置 DigitalOcean Gradient AI Platform。

提示：这是 App Platform 技能库中的一项专用技能。对于复杂的多步骤项目，可以考虑使用 planner 技能生成分阶段方案。有关所有可用技能的概览，请参阅 根目录 SKILL.md。

---

快速决策

What do you need?
├── Simple LLM API calls → Serverless Inference
│   OpenAI-compatible API, no agent management
│
└── Full AI agents → Agent Development Kit (ADK)
    Knowledge bases, RAG, guardrails, multi-agent routing

需求	解决方案	参考
直接调用 LLM 模型	Serverless Inference	serverless-inference.md
使用知识库构建 Agent	ADK	agent-development-kit.md
内容过滤／护栏	ADK	agent-development-kit.md
多 Agent 工作流	ADK	agent-development-kit.md

---

凭据处理

模型访问密钥遵循标准凭据层级：

1. GitHub Secrets（推荐）：用户创建密钥 → 添加到 GitHub Secrets → 应用规格引用
2. App Platform Secrets：通过 doctl apps update 设置，使用 type: SECRET

# App Spec pattern
envs:
  - key: MODEL_ACCESS_KEY
    scope: RUN_TIME
    type: SECRET
    value: ${MODEL_ACCESS_KEY}   # From GitHub Secrets

创建密钥：控制面板 → Serverless Inference → Model Access Keys

创建后，密钥仅显示一次——请妥善保存。

---

快速入门：Serverless Inference

# .do/app.yaml
services:
  - name: api
    envs:
      - key: MODEL_ACCESS_KEY
        scope: RUN_TIME
        type: SECRET
        value: ${MODEL_ACCESS_KEY}
      - key: INFERENCE_ENDPOINT
        value: https://inference.do-ai.run

# Python SDK (OpenAI-compatible)
from openai import OpenAI
import os

client = OpenAI(
    base_url=os.environ["INFERENCE_ENDPOINT"] + "/v1",
    api_key=os.environ["MODEL_ACCESS_KEY"],
)

response = client.chat.completions.create(
    model="llama3.3-70b-instruct",
    messages=[{"role": "user", "content": "Hello!"}],
)

完整指南：请参阅 serverless-inference.md

---

快速入门：Agent Development Kit

# Install and configure
pip install gradient-adk
gradient agent configure

# Run locally
gradient agent run
# → http://localhost:8080/run

# Deploy to DigitalOcean
gradient agent deploy

# Agent entrypoint
from gradient_adk import entrypoint

@entrypoint
def entry(payload, context):
    query = payload["prompt"]
    return {"response": "Hello from agent!"}

完整指南：请参阅 agent-development-kit.md

---

可用模型

模型	用例
llama3.3-70b-instruct	通用、高质量
llama3-8b	速度更快、成本更低
mistral-7b	高效、多语言

# List all available models
doctl genai list-models

请查看 Gradient AI 模型了解当前可用情况。

---

参考文件

• serverless-inference.md — SDK 设置、API 参数、示例
• agent-development-kit.md — ADK 工作流、知识库、护栏

---

快速故障排除

错误	原因	解决方法
401 Unauthorized	模型访问密钥无效	验证 GitHub Secrets 中的密钥
Model not found	模型 ID 无效	运行 doctl genai list-models
Rate limit exceeded	请求过多	实现指数退避
ADK 部署失败	缺少令牌作用域	确保具有 genai CRUD 和 project read 作用域

---

与其他技能集成

• → designer：将 AI 服务环境变量添加到应用规格
• → deployment：将模型访问密钥存储在 GitHub Secrets 中
• → devcontainers：部署前在本地测试 AI 集成
• → planner：规划支持 AI 的应用部署

---

文档链接

• Gradient AI Platform
• 可用模型
• Serverless Inference
• Agent Development Kit