跳到正文

Method

方法

实现规划驱动的 AI 原生工程方法。从客户问题、蓝图与任务循环,到双轨验收、接管与生产采用。

01 决策

决策方法

不存在最优决策,只存在可持续决策。先用容错与红线排除已知的坏路径,把选择权留在场。问题先拆解成有依赖的里程碑,再动手。

02 执行

需求分析:从模糊到精确

工程 →

功能清单是技术视角,业务事件流才是业务视角。Event Storming 问"发生了什么事件",产出事件流、有界上下文与状态机。每个被放弃的方案都记进分歧记录:决策、原因、影响范围、日期。产出 REQUIREMENTS.md。

03 执行

原型设计:先验证再交付

工程 →

原型用来回答问题,不是用来交付。需求存疑、交互复杂、要说服利益相关者时,先出原型。三种保真度:文字验证逻辑、线框验证结构、高保真验证交互。mock 到真实的演进写进 POC-MANIFEST.md,每一段都交诚实账。

04 执行

架构设计:蓝图的艺术

工程 →

蓝图不是文档,是约束器。CONTEXT.md 管项目事实,ARCHITECTURE.md 管约束,AGENTS.md 管读取与执行纪律,CHANGELOG.md 管变更轨迹。负空间设计:先划定不能走的路,再让 AI 在剩下的空间里生成。

05 执行

六步工作法

工程 →

拆解 → 下发指令 → 编码 → 验收 → 分支判断 → 更新图纸。里程碑是工程维度的,不是需求维度的:数据库、接口、校验、前端各自成段,独立验收。验收结论只有三种:PASS、NEEDS_FIX、REBUILD。

  1. 01 拆解
  2. 02 下发指令
  3. 03 编码
  4. 04 验收
  5. 05 分支判断
  6. 06 更新图纸

PASS

验收通过后固化当前产出并更新图纸,再进入下一任务;源码验收与生产发布分别判断。

NEEDS_FIX

记录缺陷、影响与修复标准;修复后重跑失败类别及受影响回归。重复失败时先重新判断结构和成本。

REBUILD

经结构与成本评估后重建。先保护当前工作,核实目标提交和分支共享状态;共享历史不重写,部署和外部副作用分别恢复。

06 纪律

三大纪律

无蓝图不开工。无验收不固化。逢混乱必重建。每条纪律配它的违反后果——标准用于降低风险,效果需要项目验证。重建前保护工作、核实目标与共享历史边界。

  • 无蓝图不开工

    需求、架构、前端设计出文档前不写代码。否则从第一步就偏移。

  • 未验收不固化

    验收前不提交、不固化。否则偏移累积。

  • 乱了就重建

    先停止、保存已核实事实并保护工作,再从持久蓝图恢复。结构重建需比较成本,核实目标与共享历史边界。

07 纪律

流程约束

先确认计划与任务授权,再在明确范围内执行;需求、权限或客户承诺改变时升级给负责人。遥测先脱敏并保存到运行记录,核实后的事实再更新蓝图。

08 纪律

上下文管理

工程 →

发现编造API、约束丢失、重复失败或修复扩散时先停止,保存已核实事实与当前工作。用工具支持的会话清空功能,再按蓝图、当前任务、验收标准三段恢复并复述验证。窗口占比只是排查信号,不是统一阈值。

09 能力

使用者的能力

链路对使用者提能力要求,使用者在链路中长出能力。八项:问题分解、全链路交付、逆向理解、快速验证、双向翻译、诚实账、上下文自持、纪律自执行。

  • 问题分解

    把一句模糊的诉求,拆成有依赖的里程碑。先蓝图,后代码。

  • 全链路交付

    从客户定界、工程实现到接管与采用,明确责任和升级路径。

  • 逆向理解

    面对陌生系统,从线上站点与遗留代码里读出结构。不等人教。

  • 快速验证

    用原型验证关键假设,时间按复杂度规划。原型用来回答问题,不是用来交付。

  • 双向翻译

    蓝图既是给业务看的技术文档,也是给技术看的业务文档。

  • 诚实账

    知道自己不知道什么。保真度三级标注,不把推断说成事实。

  • 上下文自持

    知道何时重置。上下文腐烂前重建,不硬撑。

  • 纪律自执行

    蓝图比对、测试和评估门禁提供可查证据,人员保留审查与放行责任。

10 证据

评估驱动:双轨验收

评估 →

软件测试验证代码契约,模型评估验证概率输出。黄金集有代表性、独立验证样本与版本,裁判需人工校准。禁止项先判,总分不能豁免;编排改变输入或调用路径时同样重评。

11 结果

客户交付:接管与采用

交付 →

客户项目按定界、验证、交付推进,明确范围与责任。客户接手人能重跑评估和恢复;上线后完整30天真实任务采用与业务影响分别观察。现场知识在授权边界内回流。

八级工程技能主干 · 与六步任务循环分开

  1. 01 需求
  2. 02 架构
  3. 03 前端设计
  4. 04 POC(可选)
  5. 05 编排
  6. 06 工作流
  7. 07 验收
  8. 08 测试门禁

蓝图文件族 · 按职责互链

github.com/iannil/skills →

Engineering

工程

方法的工具链。22 个可安装技能,配质量治理与测试电网。

22 总数 / 14 工程 / 3 产品 / 5 RC 哲学

本站实际执行的检查见项目README;本节为技能方法说明,不代表已运行模型评估。 评估 →

工程

14
engineer-job
工程

全自建元编排(P0)

engineer-next
工程

续跑路由

engineer-cloner
工程

在线站点逆向克隆

engineer-legacy-recon
工程

遗留系统静态侦察

engineer-requirements
工程

需求分析(事件风暴 + DDD)

engineer-architect
工程

架构蓝图(P0)

engineer-frontend-architect
工程

前端详设

engineer-poc
工程

高保真纯前端 POC

engineer-orchestrator
工程

项目编排(P0)

engineer-workflow
工程

单功能全流程

engineer-coach
工程

六步 SOP 过程教练

engineer-inspector
工程

架构验收

engineer-qa
工程

测试门禁

engineer-advisor
工程

上下文健康诊断

产品

3
init-project
产品

项目脚手架约定

product-analysis-framework
产品

产品/创业分析框架

product-pusher
产品

想法拷问推手

RC 哲学

5
rc-tutor
RC 哲学

RC 入门教学

rc-application-tool
RC 哲学

RC 应用诊断

rc-causal-chain
RC 哲学

因果链分析(现代 TRIZ)

rc-philosophy-advisor
RC 哲学

RC 哲学顾问

rc-text-assistant
RC 哲学

RC 文本写作与检索

12 TOOLS

技能选择

技能组织实现,不授予客户权限。

01

新项目

先完成定界与蓝图;Job只在已授权范围构建,发布和客户承诺由负责人决定。

02

新功能

明确范围用Workflow,需要引导用Coach,多功能依赖用Orchestrator。

03

质量

Inspector比对蓝图,QA执行软件验证;模型输入或调用路径变化另做评估。

04

决策困难

Advisor提供建议,人员明确假设与决定。

05

特殊场景

POC验证假设,Cloner逆向参考,Legacy Recon侦察旧系统,Next续接任务。

13 GATES

质量治理:架构偏移检测

按授权、契约与职责检查变更。

01

核心契约变化:核实授权范围,评估影响与严重度;先停止扩散,保护工作,再选择修复或重建。

02

不必要的依赖与抽象:按实际任务需要审查,保留更简单的模块边界。

03

体积与耦合增长:把文件长度当复核信号,依据职责拆分,避免按行数机械裁决。

14 GATES

测试电网:软件与模型双轨

软件与模型分别保留验证证据。

01

软件轨:单元验证规则、集成验证接口、关键路径验证生成页面与用户流程;记录检查范围与结果。

02

模型轨:黄金集、人工校准裁判、固定版本回归;改变模型输入或调用编排也触发评估。本站没有生产模型调用。

03

禁止项优先:失败不能降标准放行。修复后重跑失败类别和受影响回归,保留逐项证据与恢复验证。

Evaluation

评估

代码能跑与模型可靠是两种判断。代表性用例、校准裁判与同条件回归,让放行决定有可复跑的证据。

本节介绍教材方法。本站是静态内容站,没有生产模型调用,也没有实测模型评估结果。

评估资产与放行条件

01

黄金集 · 分层与独立验证

从真实任务、已授权失败与边界构造去重用例,记录来源、输入快照、预期动作、禁止项和类别。smoke 是回归子集,对抗层单列,不能重复相加。调试样本与封存验证样本分开;数量本身不提供上线保证,风险加权样本的通过率也不是生产准确率。

02

裁判 · 规则优先,人工校准

标签、数量、字段与格式尽量用确定性校验;语义质量可用LLM裁判辅助。rubric 每档写可观察行为,人工独立判断并仲裁分歧。常规与危险边界分别报告一致率,检查位置、自我偏好与长度偏差。裁判升级后用未参与调试的样本复核,不能只凭总体一致率放行。

03

版本 · 同条件比较与回归

记录数据集、输入快照、模型、提示词、规则、裁判、编排与运行配置。改变输入或调用路径也要评估。候选和基线在同一口径下重跑,裁判或数据集换版时双方重评,保存逐条输出与类别统计。确认修复后重跑失败类别和受影响回归,新增用例升版。

04

放行 · 禁止项先于汇总指标

先判禁止事项和严重度,再比较正确性、无依据陈述、格式、成本与延迟,逐类检查退化。门槛在变更前约定。低成本或总分持平不能覆盖越权和编造。失败时停止候选放行,保护工作、恢复已验证配置并复验;代码、部署和外部副作用各有恢复方案。

评估之外的结果证据

软件行为

类型、规则、接口与关键用户路径是否符合契约?通过测试和构建取得证据,记录验证版本及失败。

模型输出

在代表性输入上检查正确性、无依据陈述、格式、成本与延迟。裁判经过人工校准;本站当前没有生产模型调用。

生产采用

完整上线后30天窗口内,完成真实任务的去重目标用户 / 预先定义的目标用户。明确名单、资格、权限、时区和事件;登录与培训不计为使用。

业务影响

对比相同流程环节的工时、返工和错误,说明季节、培训与工作量等混杂因素,并计入人审、部署和维护。采用增长不能单独证明收益。

方法依据:教材第21至23章、第26.3节与第39章;黄金集规模和示例门槛需按项目风险确认。 课程路线 →

延伸阅读:Anthropic · Demystifying evals for AI agents · Judging LLM-as-a-Judge

Delivery

交付

AFDE 为客户生产中的可验证结果负责。先定界,再用证据验证,最后落实接管与持续采用。

客户项目三阶段

  1. 01

    定界 · 先找到真实任务

    跟看一线事件流,确认问题、数据来源、质量与访问权限。记录基线、首期范围、禁止事项、责任人和升级路径。演示使用合成数据,不能替代生产验证。

    出口:需求草案、数据盘点、种子用例、进入验证的条件;不足时缩小范围或停止。范围与承诺由获授权的客户负责人确认。

  2. 02

    验证 · 让方案接受证据检验

    在授权环境构建代表性评估集,明确预期动作和禁止项。冻结基线、版本与裁判,用同一条件比较候选方案,保留逐条输出和失败类别。软件测试与模型评估分别验收。

    出口:可复跑的评估报告、已知失败与缓解、继续或停止决定。总分、成本或延迟改善不能抵消禁止项失败。

  3. 03

    交付 · 接管与持续采用

    先演练配置恢复、权限失效与接口异常,再进行影子运行和受控试点。把证据放进用户原有任务,保留人工确认、拒绝与原流程入口;现场跟看和异步记录互相补充。

    出口:客户接手人独立重跑评估、解释指标并演练恢复;业务与技术负责人签认。部署、30天采用和业务影响各自保留证据。

知识回流与授权边界

现场笔记

记一条已观察事实、适用条件与证据版本,明确待验证的假设。只在获准的空间分享,客户原始数据不直接进入团队资产。

带证据的反馈

描述问题、影响、可复跑证据、边界与下一步。指定接收人、维护者和回看时间;改动需要回到现场复验。

可复用积木

用合成复现与适用边界沉淀 playbook、技能或工具,保留版本、负责人和失败条件,通过分享与实操校准。