PASS
验收通过后固化当前产出并更新图纸,再进入下一任务;源码验收与生产发布分别判断。
Method
实现规划驱动的 AI 原生工程方法。从客户问题、蓝图与任务循环,到双轨验收、接管与生产采用。
不存在最优决策,只存在可持续决策。先用容错与红线排除已知的坏路径,把选择权留在场。问题先拆解成有依赖的里程碑,再动手。
功能清单是技术视角,业务事件流才是业务视角。Event Storming 问"发生了什么事件",产出事件流、有界上下文与状态机。每个被放弃的方案都记进分歧记录:决策、原因、影响范围、日期。产出 REQUIREMENTS.md。
原型用来回答问题,不是用来交付。需求存疑、交互复杂、要说服利益相关者时,先出原型。三种保真度:文字验证逻辑、线框验证结构、高保真验证交互。mock 到真实的演进写进 POC-MANIFEST.md,每一段都交诚实账。
蓝图不是文档,是约束器。CONTEXT.md 管项目事实,ARCHITECTURE.md 管约束,AGENTS.md 管读取与执行纪律,CHANGELOG.md 管变更轨迹。负空间设计:先划定不能走的路,再让 AI 在剩下的空间里生成。
拆解 → 下发指令 → 编码 → 验收 → 分支判断 → 更新图纸。里程碑是工程维度的,不是需求维度的:数据库、接口、校验、前端各自成段,独立验收。验收结论只有三种:PASS、NEEDS_FIX、REBUILD。
验收通过后固化当前产出并更新图纸,再进入下一任务;源码验收与生产发布分别判断。
记录缺陷、影响与修复标准;修复后重跑失败类别及受影响回归。重复失败时先重新判断结构和成本。
经结构与成本评估后重建。先保护当前工作,核实目标提交和分支共享状态;共享历史不重写,部署和外部副作用分别恢复。
无蓝图不开工。无验收不固化。逢混乱必重建。每条纪律配它的违反后果——标准用于降低风险,效果需要项目验证。重建前保护工作、核实目标与共享历史边界。
需求、架构、前端设计出文档前不写代码。否则从第一步就偏移。
验收前不提交、不固化。否则偏移累积。
先停止、保存已核实事实并保护工作,再从持久蓝图恢复。结构重建需比较成本,核实目标与共享历史边界。
先确认计划与任务授权,再在明确范围内执行;需求、权限或客户承诺改变时升级给负责人。遥测先脱敏并保存到运行记录,核实后的事实再更新蓝图。
发现编造API、约束丢失、重复失败或修复扩散时先停止,保存已核实事实与当前工作。用工具支持的会话清空功能,再按蓝图、当前任务、验收标准三段恢复并复述验证。窗口占比只是排查信号,不是统一阈值。
链路对使用者提能力要求,使用者在链路中长出能力。八项:问题分解、全链路交付、逆向理解、快速验证、双向翻译、诚实账、上下文自持、纪律自执行。
把一句模糊的诉求,拆成有依赖的里程碑。先蓝图,后代码。
从客户定界、工程实现到接管与采用,明确责任和升级路径。
面对陌生系统,从线上站点与遗留代码里读出结构。不等人教。
用原型验证关键假设,时间按复杂度规划。原型用来回答问题,不是用来交付。
蓝图既是给业务看的技术文档,也是给技术看的业务文档。
知道自己不知道什么。保真度三级标注,不把推断说成事实。
知道何时重置。上下文腐烂前重建,不硬撑。
蓝图比对、测试和评估门禁提供可查证据,人员保留审查与放行责任。
软件测试验证代码契约,模型评估验证概率输出。黄金集有代表性、独立验证样本与版本,裁判需人工校准。禁止项先判,总分不能豁免;编排改变输入或调用路径时同样重评。
客户项目按定界、验证、交付推进,明确范围与责任。客户接手人能重跑评估和恢复;上线后完整30天真实任务采用与业务影响分别观察。现场知识在授权边界内回流。
Engineering
方法的工具链。22 个可安装技能,配质量治理与测试电网。
22 总数 / 14 工程 / 3 产品 / 5 RC 哲学
本站实际执行的检查见项目README;本节为技能方法说明,不代表已运行模型评估。 评估 →
技能组织实现,不授予客户权限。
先完成定界与蓝图;Job只在已授权范围构建,发布和客户承诺由负责人决定。
明确范围用Workflow,需要引导用Coach,多功能依赖用Orchestrator。
Inspector比对蓝图,QA执行软件验证;模型输入或调用路径变化另做评估。
Advisor提供建议,人员明确假设与决定。
POC验证假设,Cloner逆向参考,Legacy Recon侦察旧系统,Next续接任务。
按授权、契约与职责检查变更。
核心契约变化:核实授权范围,评估影响与严重度;先停止扩散,保护工作,再选择修复或重建。
不必要的依赖与抽象:按实际任务需要审查,保留更简单的模块边界。
体积与耦合增长:把文件长度当复核信号,依据职责拆分,避免按行数机械裁决。
软件与模型分别保留验证证据。
软件轨:单元验证规则、集成验证接口、关键路径验证生成页面与用户流程;记录检查范围与结果。
模型轨:黄金集、人工校准裁判、固定版本回归;改变模型输入或调用编排也触发评估。本站没有生产模型调用。
禁止项优先:失败不能降标准放行。修复后重跑失败类别和受影响回归,保留逐项证据与恢复验证。
Evaluation
代码能跑与模型可靠是两种判断。代表性用例、校准裁判与同条件回归,让放行决定有可复跑的证据。
本节介绍教材方法。本站是静态内容站,没有生产模型调用,也没有实测模型评估结果。
01
从真实任务、已授权失败与边界构造去重用例,记录来源、输入快照、预期动作、禁止项和类别。smoke 是回归子集,对抗层单列,不能重复相加。调试样本与封存验证样本分开;数量本身不提供上线保证,风险加权样本的通过率也不是生产准确率。
02
标签、数量、字段与格式尽量用确定性校验;语义质量可用LLM裁判辅助。rubric 每档写可观察行为,人工独立判断并仲裁分歧。常规与危险边界分别报告一致率,检查位置、自我偏好与长度偏差。裁判升级后用未参与调试的样本复核,不能只凭总体一致率放行。
03
记录数据集、输入快照、模型、提示词、规则、裁判、编排与运行配置。改变输入或调用路径也要评估。候选和基线在同一口径下重跑,裁判或数据集换版时双方重评,保存逐条输出与类别统计。确认修复后重跑失败类别和受影响回归,新增用例升版。
04
先判禁止事项和严重度,再比较正确性、无依据陈述、格式、成本与延迟,逐类检查退化。门槛在变更前约定。低成本或总分持平不能覆盖越权和编造。失败时停止候选放行,保护工作、恢复已验证配置并复验;代码、部署和外部副作用各有恢复方案。
类型、规则、接口与关键用户路径是否符合契约?通过测试和构建取得证据,记录验证版本及失败。
在代表性输入上检查正确性、无依据陈述、格式、成本与延迟。裁判经过人工校准;本站当前没有生产模型调用。
完整上线后30天窗口内,完成真实任务的去重目标用户 / 预先定义的目标用户。明确名单、资格、权限、时区和事件;登录与培训不计为使用。
对比相同流程环节的工时、返工和错误,说明季节、培训与工作量等混杂因素,并计入人审、部署和维护。采用增长不能单独证明收益。
方法依据:教材第21至23章、第26.3节与第39章;黄金集规模和示例门槛需按项目风险确认。 课程路线 →
延伸阅读:Anthropic · Demystifying evals for AI agents · Judging LLM-as-a-Judge
Delivery
AFDE 为客户生产中的可验证结果负责。先定界,再用证据验证,最后落实接管与持续采用。
跟看一线事件流,确认问题、数据来源、质量与访问权限。记录基线、首期范围、禁止事项、责任人和升级路径。演示使用合成数据,不能替代生产验证。
出口:需求草案、数据盘点、种子用例、进入验证的条件;不足时缩小范围或停止。范围与承诺由获授权的客户负责人确认。
在授权环境构建代表性评估集,明确预期动作和禁止项。冻结基线、版本与裁判,用同一条件比较候选方案,保留逐条输出和失败类别。软件测试与模型评估分别验收。
出口:可复跑的评估报告、已知失败与缓解、继续或停止决定。总分、成本或延迟改善不能抵消禁止项失败。
先演练配置恢复、权限失效与接口异常,再进行影子运行和受控试点。把证据放进用户原有任务,保留人工确认、拒绝与原流程入口;现场跟看和异步记录互相补充。
出口:客户接手人独立重跑评估、解释指标并演练恢复;业务与技术负责人签认。部署、30天采用和业务影响各自保留证据。
记一条已观察事实、适用条件与证据版本,明确待验证的假设。只在获准的空间分享,客户原始数据不直接进入团队资产。
描述问题、影响、可复跑证据、边界与下一步。指定接收人、维护者和回看时间;改动需要回到现场复验。
用合成复现与适用边界沉淀 playbook、技能或工具,保留版本、负责人和失败条件,通过分享与实操校准。