human-gate-designer

人工审核关卡设计器

为 DAG 工作流设计人在回路审核节点：展示什么内容、如何收集反馈，以及如何将决策路由回 DAG。

---

适用场景

✅ 适用于：

• 决定在 DAG 的哪个位置设置人工关卡
• 设计每个关卡向人工审核者展示的内容
• 定义反馈如何路由回去（批准／拒绝／修改）
• 平衡自动化速度与人工监督

❌ 不适用于：

• 人工关卡的运行时执行（使用 dag-runtime + Temporal 信号）
• 通用 UI/UX 设计（使用设计技能）
• 聊天机器人的对话流程（模式不同）

---

关卡放置决策树

flowchart TD
  A{Is the action irreversible?} -->|Yes| G1[Gate BEFORE the action]
  A -->|No| B{Is output user-facing?}
  B -->|Yes| G2[Gate AFTER generation, BEFORE delivery]
  B -->|No| C{Cost > $0.50 for remaining nodes?}
  C -->|Yes| G3[Gate at the cost threshold]
  C -->|No| D{Confidence score < 0.7?}
  D -->|Yes| G4[Gate on low-confidence outputs]
  D -->|No| N[No gate needed]

关卡放置位置

情况	关卡位置	原因
不可逆操作（部署、发送电子邮件、提交）	操作前	无法撤销
面向用户的交付物（报告、网站、PR）	生成后、交付前	质量检查
剩余成本较高（>$0.50）	昂贵阶段前	确认预算
输出置信度较低（<0.7）	不确定节点之后	需要专家判断
任务拆解存在歧义	规划后、执行前	验证计划
新模板 DAG 首次运行	每个阶段之后	逐步建立信任

---

关卡呈现设计

人工审核者看到的内容

┌──────────────────────────────────────────────────────┐
│  🔍 Human Review: [Node Name]                        │
│                                                      │
│  Context: [1-2 sentences: what happened so far]      │
│                                                      │
│  Output to Review:                                   │
│  ┌──────────────────────────────────────────────────┐│
│  │ [The node's output, formatted for readability]   ││
│  │ [Key decisions highlighted]                      ││
│  │ [Confidence: 0.82]                               ││
│  └──────────────────────────────────────────────────┘│
│                                                      │
│  Cost so far: $0.08 / $0.50 budget                  │
│  Remaining nodes: 4 (est. $0.12)                    │
│                                                      │
│  [✅ Approve]  [✏️ Modify]  [❌ Reject]              │
│                                                      │
│  If modifying, what should change?                   │
│  ┌──────────────────────────────────────────────────┐│
│  │ [text input for human feedback]                  ││
│  └──────────────────────────────────────────────────┘│
└──────────────────────────────────────────────────────┘

呈现原则

1. 展示上下文，而不只是输出：人工审核者需要了解 DAG 到目前为止完成了什么，而不只是当前节点的结果。
2. 突出决策：将 Agent 做出的选择加粗或加注释。这些才是人工审核者实际需要审查的内容。
3. 展示置信度：如果 Agent 不确定，请明确说明。低置信度的输出需要更仔细地审查。
4. 展示成本：人工审核者应了解已花费的金额和剩余金额。
5. 让“修改”更容易：提供文本输入框，用于填写反馈，并将反馈注入重试提示词。

---

反馈路由

flowchart TD
  H[Human decision] --> A{Decision?}
  A -->|Approve| C[Continue to next wave]
  A -->|Modify| M[Re-execute node with human feedback injected]
  M --> V[Validate modified output]
  V --> H
  A -->|Reject| R{Reject scope?}
  R -->|This node only| RN[Re-plan this node with different approach]
  RN --> H
  R -->|Entire phase| RP[Re-plan from last successful phase]
  RP --> H
  R -->|Abort DAG| AB[Stop execution, return partial results]

反馈注入

人工审核者选择“修改”时，其文本会成为重新执行提示词的一部分：

Original task: [same as before]
Previous output: [the output the human rejected]
Human feedback: "[the human's modification text]"

Revise your output to address the human's feedback.
Preserve the parts they didn't comment on.

---

反模式

每个节点之后都设置关卡

错误：每个节点都要求人工批准。 正确：只在不可逆操作、面向用户的输出和低置信度决策处设置关卡。大多数内部节点都不需要关卡。

只能二选一：批准或拒绝

错误：人工审核者只能批准或拒绝，无法提供具体反馈。 正确：始终提供“修改”选项，并配备文本输入框，以便给出有针对性的反馈。

关卡中没有上下文

错误：向人工审核者展示原始 JSON 输出，不作任何说明。 正确：展示 DAG 正在做什么、目前发生了什么、此输出意味着什么，以及批准后会发生什么。