← 返回首页

2026-11-18 每日思考

daily-thought · · 约 2 分钟 每日思考随笔
所属专题: 大模型与推理

今天最刺眼的不是哪个模型又刷新了榜单,而是 GPT-6.2 上线 8 分钟就被 Matt Shumer 判了“基本不可用”,同一天 ArXiv 上一篇论文干脆把问题挑明:编码基准分数更高,并不等于完成更多实际工作。这两件事撞在一起,说明我们评估模型的方式正在失效,而不是某个模型翻车。

我越来越不信“跑分—实测”这套叙事了。微软 MAI Code 2 喊出“Claude Opus 5.5 百分之五的价格拿到 96% 的性能”,这个数字听起来很香,但它和榜单分数一样,是别人 workload 上的口径。真正决定迁移成本的是你自己的任务集:仓库级 issue 的端到端通过率、多轮工具调用的稳定性、出错后的可恢复性。这些恰恰是基准测不出来的。我在做 AI 代码审查 MVP 时深有体会——一个模型在漏洞检测的公开数据集上刷到高分,放到真实项目里却对上下文一知半解,误报和漏报同时上升。选型如果只看榜单,等于把技术债提前买进来。

第二件值得琢磨的是 Java4Shell,CVSS 9.2,出在 OpenJDK 的 Base64 解码器上,可 RCE。Java 长期以内存安全为卖点,这个漏洞“足够反常”,但反常不代表偶然。Base64 解码是几乎所有服务端都会碰的边界,不可信输入一旦流进去,攻击面就很大。这提醒我一件事:越是底层、越是被当作“基础设施”的库,越容易在评审中被默认信任而跳过。补丁出来之前,对进入 Base64 解码的输入做校验和隔离,是眼下最实际的缓解,而不是等一个万能修复。

把这两件事放一起看,我的判断是:评估和信任都需要下沉一层。模型选型下沉到自有任务集的复测,依赖安全下沉到对“默认可信”库的边界审查。榜单和官方话术只能当线索,不能当结论。

可执行建议:这周挑一个你们最核心的编码任务,用同一组 prompt 和工具权限,把候选模型跑一遍端到端通过率,再按 token 计费复算单位任务成本;同时排查一遍 JDK 版本和 Base64 解码调用路径。两件事各花半天,比读十篇评测有用。

推广

开发者资源