2026-11-13 每日思考
今天 Claude 全线挂了几个小时,我的代码审查工具正好卡在联调阶段,一下午的迭代节奏被打断。这件事本身不新鲜,但它逼我把一个一直回避的问题摊开来看:我的 MVP 到底该不该把"审查质量"这件事押在单一模型的判断力上。
我的工具做的事情听起来很直接——扫代码、找安全漏洞和性能问题。但真正做起来才发现,最难的从来不是"发现可疑点",而是"决定哪些可疑点值得报出来"。一个 SQL 拼接、一个未校验的重定向参数、一个在循环里反复创建的对象,模型都能给你指出来,问题是它指出的东西里有一大半是误报,而漏掉的往往是最隐蔽的那类。我一开始的思路是换更强的模型、调更细的 prompt,但今天服务一挂,我意识到这条路的天花板不在模型能力,而在架构假设:我把"判断"当成了模型的黑箱输出,而不是系统里可以被拆解、被验证、被降级的一环。
今天 ArXiv 上那篇讲专家分歧的论文正好戳中我。它说 LLM 在看到另一个 agent 提出异议后是否改判,反转次数和最终准确率都无法区分"真的修正了错误"和"被权威带偏了"。我立刻想到自己工具里的一个设计:我本来打算加一个"第二模型复核"环节,让两个模型对同一处代码给意见,不一致就升级告警。看完这篇我意识到这个设计有多天真——两个模型意见相左,很可能不是其中一个更对,而是两个都在同一个盲区里,只是措辞不同。更糟的是,如果我把"复核模型"设成更强的那一个,那它的偏见会被系统性地放大成"权威裁定",误报率反而可能上升。
所以我现在倾向于一个更笨但更稳的做法:把审查拆成两层。第一层是确定性的静态规则和模式匹配,负责那些"没有歧义就该报"的问题,比如硬编码密钥、明显的注入模式,这一层不依赖任何模型,服务挂了也照跑。第二层才交给模型,但它的输出不再是"这是漏洞",而是"这里可能有风险,理由是 X,置信度 Y",然后由我自己的规则引擎根据置信度和代码上下文做二次过滤。换句话说,模型从"裁判"降级成"线索提供者",真正的决策权留在可测试、可回滚的代码里。
这也解释了我为什么对今天 GitHub 上那个 ffmpeg-skill 特别有共鸣。它没有让 agent 去"理解视频处理",而是把 42 个成熟的 FFmpeg 命令封装成机器可读的契约,agent 只负责选工具、填参数。这个思路对我的启发是:与其追求模型判断得多准,不如把"什么是漏洞"这件事尽可能地固化成可枚举、可验证的规则,让模型去做它真正擅长的——在规则覆盖不到的地方提供线索和解释。确定性交给代码,模糊性交给模型,边界划清楚,服务挂了也不至于全盘瘫痪。
给同样在做 AI 工具的同行一个具体建议:这周花半天时间,把你系统里所有"模型输出直接决定结果"的路径列出来,逐条问自己——如果这个模型明天不可用,或者它的判断系统性偏移 10%,你的产品还能不能用、错得可不可控。如果答案是不能,那这条路径就该被拆开。这不是对模型能力的不信任,而是对工程韧性的基本尊重。预测一句:接下来半年,agent 工具的竞争焦点会从"谁的模型更聪明"转向"谁的降级路径更优雅",今天这场故障只是提前替所有人做了一次压力测试。