senior-prompt-engineer

资深提示词工程师

提示词工程模式、大模型评估框架和 Agent 系统设计。提供静态（确定性）分析工具，用于优化提示词、评估 RAG 检索与生成质量，以及验证和可视化 Agent 工作流；此外，还包含丰富的提示词模式、评估指标和 Agent 架构参考库。

核心能力

• 提示词优化 — 统计 token 数量并估算成本、评估清晰度和结构、检测歧义与冗余，并生成优化后的提示词版本。
• 少样本与结构化输出设计 — 提取和管理少样本示例，设计多样化的示例集（简单／边缘／复杂／负面），并确保可靠地输出 JSON/XML 架构。
• RAG 评估 — 对预先检索的上下文评估上下文相关性、回答忠实度、依据充分性（ROUGE-L）和检索指标（Precision@K、MRR、NDCG）。
• Agent 系统设计 — 验证 Agent 配置、可视化流程（ASCII/Mermaid）、估算每次运行的 token 成本，并应用 ReAct / Plan-Execute / Tool-Use / 多 Agent 模式。
• 模式库 — 10 种提示词模式、评估框架（A/B 测试、基准测试、人工评估）和包含伪代码的 Agent 架构。

适用场景

• 优化现有提示词的效果或降低 token 成本。
• 设计提示词模板、少样本示例或结构化输出工作流。
• 评估大模型输出或 RAG 检索／生成质量。
• 构建或验证 Agent 系统和工具调用工作流。

工具

工具	用途	命令
prompt_optimizer.py	分析／优化提示词：token、清晰度、结构、少样本提取	python scripts/prompt_optimizer.py prompt.txt --analyze
rag_evaluator.py	评估 RAG 上下文相关性、忠实度和检索指标	python scripts/rag_evaluator.py --contexts ctx.json --questions q.json
agent_orchestrator.py	验证、可视化 Agent 配置并估算成本	python scripts/agent_orchestrator.py agent.yaml --validate

参考资料

根据任务加载相应的参考资料 — 保持此文件简洁，按需查阅详细内容：

• references/tools-and-workflows.md — 完整的工具用法及示例输出、提示词优化／少样本／结构化输出工作流、常见模式和命令速查、故障排除表、成功标准，以及各脚本参数和输出格式的完整参考。运行任何工具或执行工作流时请阅读。
• references/prompt_engineering_patterns.md — 10 种提示词模式（零样本／少样本、CoT、角色、结构化输出、自洽性、ReAct、思维树、RAG），附示例输入和预期输出。选择或应用提示词技术时请阅读。
• references/llm_evaluation_frameworks.md — 评估指标、文本生成与 RAG 专用评分、人工评估框架、A/B 测试、基准数据集和流水线设计。衡量质量或比较提示词时请阅读。
• references/agentic_system_design.md — Agent 架构（ReAct、Plan-and-Execute、工具使用、多 Agent、记忆／状态）和附带伪代码的设计模式。构建 Agent 或工具调用系统时请阅读。

范围与限制

此技能涵盖：

• 静态提示词分析：Token 计数、清晰度评分、结构检测和优化建议
• RAG 评估：上下文相关性、答案忠实度、依据充分性和检索指标（Precision@K、ROUGE-L、MRR、NDCG）
• Agent 工作流设计：配置验证、ASCII/Mermaid 可视化和 Token 成本估算
• 从现有提示词中提取和管理少样本示例

此技能不涵盖：

• 实时 LLM 调用或运行时提示词测试 --- 所有分析均为静态／确定性分析（LLM 集成请参阅 senior-ml-engineer）
• 向量数据库设置或嵌入生成 --- RAG 评估器仅对预先检索的上下文评分（管道编排请参阅 senior-data-engineer）
• 微调、RLHF 或模型训练工作流（模型部署请参阅 senior-ml-engineer）
• 生产监控、A/B 测试执行或实时漂移检测（实验设计请参阅 senior-data-scientist）

集成点

技能	集成内容	数据流
senior-ml-engineer	LLM 集成和模型部署	此技能优化的提示词会输入其 LLM 集成层的提示词模板
senior-data-scientist	提示词实验的 A/B 测试设计	experiment_designer.py 定义测试参数；此技能提供用于比较的提示词变体
senior-data-engineer	RAG 管道编排	pipeline_orchestrator.py 构建检索管道；此技能评估其输出质量
senior-fullstack	端到端应用脚手架搭建	全栈应用使用由 agent_orchestrator.py 验证的 Agent 配置
senior-security	提示词注入和对抗性输入审查	安全分析覆盖攻击面；此技能确保提示词包含防御性约束
senior-qa	AI 驱动功能的质量保证	QA 测试套件验证优化后的提示词在生产环境中能否产生一致的输出