2026-11-11 每日思考
今天 Solidot 那条"AI 生成的代码并不可靠"让我停了很久,因为说的几乎就是我正在做的事的反面。
那位 100% 依赖 AI 写代码的资深开发者列了几条:AI 写的测试过于简单、覆盖不到真正重要的场景;代码过于……(原文截断,但大意是结构松散、抽象失当)。我第一反应是想反驳——我的 AI 代码审查工具 MVP 就是靠模型找漏洞和性能问题的,如果 AI 代码不可靠,那我的工具不正好有用武之地?但冷静下来想,这个逻辑有个洞:我的工具本身也是 AI,它凭什么比被审查的 AI 更可靠?
这是我这周真正在纠结的技术问题。目前 MVP 的检测流程是模型直接读 diff、输出问题列表。跑下来发现两类系统性偏差:一是它偏爱报"看起来危险"的模式(比如任何字符串拼接都疑似注入),误报率高到开发者会直接关掉;二是它对性能问题的判断几乎依赖表面特征(嵌套循环=慢),完全不看数据规模和实际热路径。换句话说,它在做模式匹配,不是在做分析。
我想到今天 ArXiv 那篇 Contrastive Discovery 的思路:不要逐点判断"这行有没有问题",而是同时持有多个竞争解释,用能区分它们的证据去消歧。迁移到代码审查上,就是不要问"这行安全吗",而是问"这行在什么输入下会出问题,我能构造出那个输入吗"。能构造出来的是真漏洞,构造不出来的是噪声。这本质上是从分类任务退回到可证伪的验证任务——慢,但可信。
这也解释了为什么"AI 写的测试过于简单":模型倾向于生成能通过的测试,而不是能失败的测试。审查工具同理,倾向于生成"看起来专业"的报告,而不是能被证伪的结论。我的下一步很明确:把 MVP 的输出从"问题列表"改成"问题 + 可复现的触发条件",哪怕覆盖率掉一半。宁可少报,不可假报——对一个要给开发者用的工具,误报的信任成本远高于漏报。
预测一句:未来半年,"可证伪的 AI 输出"会成为工具类产品的分水岭,评测标准会从"发现了多少问题"转向"报出的问题有多少能被复现"。