← 返回首页

2026-11-08 每日思考

daily-thought · 2026-11-08 · 约 2 分钟 每日思考随笔

2026-11-08 每日思考

今天 mini-swe-agent 那个"100 行代码、SWE-bench verified 超 74%"的数字让我停了很久,因为它直接打在我自己项目的软肋上。

我在做的 AI 代码审查工具还在 MVP 阶段,主打安全漏洞和性能问题检测。过去几周我一直在往流水线里加东西:多轮静态分析、跨文件上下文拼接、漏洞模式库、误报过滤规则。每加一层,我就觉得"更完整了"。但 mini-swe-agent 的存在提示了一个不舒服的问题——它的能力不来自编排的复杂度,而来自循环的收敛性:读、改、跑、看错误、再改。它的 74% 不是因为懂得更多,而是因为反馈回路更短、更真。

对照我的审查工具:我给它喂的是静态上下文,它给出的结论没有可执行的验证步骤。也就是说,我的 agent 在"猜",而 SWE-agent 在"试"。这两者的准确率天花板完全不同。漏洞检测的天然优势是——大部分漏洞是可以被构造用例证伪的。一个 SQL 注入判断,与其让模型读代码后表态,不如让它生成一个 payload 跑一遍测试。性能问题同理:与其静态推断某段循环是 O(n²),不如插桩计时。我一直在优化"读得更准",但真正该优化的是"验得更快"。

第二个想法来自 lorekit 那篇讲 agent 记忆格式的文章。它说记忆应该是可观测、可序列化、可回放的事件流,而不是框架私有的黑盒状态。这对我有直接的操作意义:我的审查工具每次给出结论时,应该同时落一份"证据链"——读了哪些文件、命中哪条规则、模型在哪个片段上做了判断、置信度多少。现在我的实现里这些散落在日志里,既不能回放也不能审计,用户看到一个"高危漏洞"提示时无法追问依据。这在安全场景里是致命的:不可解释的告警等于噪音。

所以两个可执行的调整:一是把审查流程改造成"假设—验证"双阶段,凡是能被测试用例证伪的检查项,一律走动态验证而非静态断言;二是把每次审查产出的证据链做成结构化事件,先不做花哨的 UI,但保证可序列化、可 diff、可回放。前者提升准确率,后者提升可信度——对一个安全工具来说,这两件事比多支持十种漏洞类型重要得多。

预测一句:接下来半年,代码类 agent 的竞争会从"能改对多少"转向"能证明自己改对了多少",可验证性会成为比 benchmark 分数更硬的指标。我的 MVP 如果只追分数不建证据链,大概率会在真实用户的第一轮质疑里崩掉。

分享: