关于 ccf-experiment-designer
ccf-experiment-designer 是用于规划研究实验和呈现结果的技能。它将主张对应到证据,并按要求生成实验方案或结果结构,不会编造实验结果。
主要功能
- 01主张与证据对应规划
- 02选择数据集、基线和指标
- 03设计消融与稳健性测试
- 04生成结果表和图表证据规格
- 05明确标记缺失值
适用场景
- 01规划可区分假设与其他解释的测试
- 02创建待填结果表模板
- 03根据提供的测量值组织图表
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ mikubaka88/ ccfa-skills --skill ccf-experiment-designer安装后在 Claude Code 中输入/ccf-experiment-designer确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
agents/openai.yamlreferences/result-templates.mdevidence-design.md详细介绍
CCF 实验设计器
家族文件约定
开始处理文件前,复用规范路径,并统一使用一个任务/制品工作目录;默认使用项目根目录下的 ccfa-workfiles/<purpose>/<artifact-id>/。原地更新,保留输入文件,并检查中文文本是否为 UTF-8。命名、归属和任务创建文件的清理请遵循 artifact-contracts.md;交接时沿用这些路径。
协作约定
执行专业工作前,先阅读并遵循 ccf-humanization,再阅读并遵循 ccf-common。每次交接时,复用其中适用的当前规则,或刷新缺失/已更改的规则。即使没有文案,也必须完成两项预检查。仅在相关时,才运行详细的编辑、实验和维护模式。
由单一负责人整合必要的专业贡献;复用有效的前置成果,并验证受影响的结果。遵循协作路由,避免重复报告。
调用控制
CCFA 交接模式:PARTIAL(推荐)。 遵循 metadata.ccf_skill_controls.handoff_question_mode、../ccf-common/references/handoff-modes.md 和 ../ccf-common/references/task-modes.md。
所有实验工作(包括原始协议规划和证据架构)开始前,先启用 Humanization 和 Common。编写出版文案/表格/图注或更改可执行实验时,按需加载 ../ccf-humanization/references/experiment-discipline.md;将冒烟测试限制在各条变更关键路径上,并验证所报告比较的完整方法配置。这些详细检查仅在相关时执行;家族基线要求始终适用。描述方法及科学上相关的配置,但不要披露内部审批状态。未解决的版本决策应留在出版物制品之外,同时不得隐瞒重要事实。
核心规则
设计规模最小但足以区分核心假设与合理替代解释的实验方案。规划方法使用所提供的规格;报告完整方法比较时,须验证完整配置。结果表和以证据为依据的图表规格,只能基于提供的真实数值、通过授权执行核验的测量结果,或明确的占位符。绝不编造数值、改进、显著性、基准排名或用户研究结果。不要用重复的冒烟测试或不合理的防御性案例扩充协议。出版级布局、配色方案、图注位置和渲染质检由 ccf-visual-composer 负责。遵循用户要求的输出形式:实验计划、表格、LaTeX 表格、图表规格、消融列表或执行队列。
对于明确要求的自主研究,负责制定比较协议和必要的执行规格,并解读实际反馈。将这些内容交给 ccf-pipeline-orchestrator,由其协调任务负责的实现和真实主机执行。区分命令执行失败与科学结果为负。证据可以促使更换机制或搜索策略,而不只是添加另一个模块。此协作不会为仅涉及概念的创意评审增加实验要求。
模式
design:数据集、基线、指标、消融、鲁棒性、效率、失败分析和执行优先级。result-template:填写表格;LaTeX 中使用\emptycell,Markdown 中使用—;不得编造结果。result-presentation:根据提供的真实结果或通过授权执行核验的测量结果,制作结果表、图表证据计划、图表规格、图注事实和缺失值标记。research-iteration:制定有区分力的协议;在获准时提供可执行的运行规格;解读观测结果以作出下一步研究决策;使用references/evidence-design.md。
工作流
- 在完成两类预检后,确定所需输出。原始协议规划和证据模式沿用 Humanization 的基线,无需改写稿件。仅在适用时选择详细的文本/实验检查,并在检查方法版本之前明确论点和可用证据。
- 从构想或草稿中提取故事线。复用已提供的论点/机制描述。仅当核心论点需要澄清时,才阅读
../ccf-paper-writer/references/storyline-blueprint.md;如果结果表已明确指定,则无需阅读。 - 根据贡献类型,将每项主要论点映射到充分的证据:适用的数据集/工作负载、比较方法、指标,以及能够区分结果的消融、分析、证明或研究。规划中的方法使用已提供的规格;已报告的比较则需要经过验证的配置。只有当稳健性或失效测试能解决特定论点或项目决策、有观察到的问题或合理机制作为依据,或满足经过验证的投稿场所要求时,才添加此类测试。仅凭合理性不足以支持无关测试;不要罗列遥远的防御性案例。
- 如果缺失的数据集、基线、指标或协议出处会影响相关比较,则通过
ccf-literature-searcher进行确认;优先复用已提供且经过验证的来源。规划可以指出尚未解决的依赖项,但不应因此阻碍独立的设计工作。确认其与核心论点相符。对于影响重大的未解决论点与测试不匹配问题,请求ccf-paper-reviewer进行有针对性的检查,并整合其发现;不要针对协议问题生成完整的审稿报告。对于无法获取的证据应明确标记,不要猜测;不要仅为符合通用实验检查清单而缩小研究目标。 - 对实质性的协议设计,加载
references/evidence-design.md;对表格/模式工作,加载references/result-templates.md。除非小任务确实两者都需要,否则不要同时加载。 对结果尚待补充的稿件,将已提供的设计映射到其表格模式,不要自动添加实验。保留计划中与已完成协议的状态、聚合方式和方法身份。将结果分析留空,并把模式交还作者;待补数值不会妨碍论文其他部分的撰写。每项新增测试都必须回答特定论点、比较或已观察到的问题;省略无关类别,不要为了凑齐一套内容而填入。 - 呈现结果时,保留单位、随机种子、置信区间、数据集名称、指标方向,以及已确认的方法版本/配置。明确标记缺失值;绝不要用简化运行的结果填补。
- 只有在实际修改了可执行实验代码时,才为关键路径保留非重复的冒烟测试。仅做规划或格式整理不需要冒烟测试。将冒烟测试与论文证据分开,不要用它们替代完整实验。
对经授权的研究迭代,按照
references/evidence-design.md中的说明提供可执行契约并解读反馈。使用已提供或已检查的命令、数据、环境和剩余预算;不要猜测可运行路径,也不要把缺少输入视为成功执行。必要输入尚未解决时,继续进行独立的准备工作。向协调器提供具体的下一步比较或解读,而不是启动无关的实验行动。 - 如果所请求的交付物包含视觉构图、布局或渲染,使用
ccf-visual-composer。提供真实数值、单位、不确定性、指标方向和图注事实;整合并检查返回的图/表。原始证据模式无需渲染。 - 在最终确定已报告的比较之前,核对论点、数值和配置;对于尚未解决且影响重大的冲突,使用
ccf-integrity-auditor。需要撰写稿件文本时,使用ccf-paper-writer;如果涉及投稿材料是否就绪,则使用ccf-submission-checker。这些是按需提供的贡献,并非每份计划都必须执行的阶段。
自适应输出约定
首先返回所请求的产物。对于结果表请求,输出表格。对于图示请求,输出受证据约束的图示规范和图注事实;如需进行视觉编排,则指定 ccf-visual-composer 为下一负责人。对于完整的实验设计请求,使用下方适用的字段。省略无关或空类别;冒烟测试范围仅适用于已更改的可执行代码,且仅在需要时才进行交接。证据完整性是一项工作准则,不是自我认证字段。
对于研究迭代,返回协议版本、实际结果及证据位置、该结果是否能区分相互竞争的解释,以及它所支持的下一步决策。缺少结果、无效比较或执行错误,应与不利测量结果区别开来。不要根据单一指标的改善推断因果上的成功或已达到发表标准。
Mode:
Venue and assumptions:
Claim-evidence matrix:
Dataset / benchmark needs:
Confirmed method / baseline versions:
Baseline matrix:
Main experiments:
Ablations:
Robustness / failure / efficiency:
Smoke scope and deduplication:
Result tables or figure specs:
Missing values:
Execution priority:
Next CCFA owner:
参考资料
references/evidence-design.md:自主研究期间的实验与基准设计、运行规范和结果解读。references/result-templates.md:可填写的结果表和演示框架。../ccf-humanization/references/experiment-discipline.md:已确认的完整方法门槛、禁止使用简化版本、冒烟测试范围,以及从实验到论文的检查。../ccf-humanization/references/humanization-policy.md:仅警告、不注入,以及移除防御性案例的政策。