← 返回首页

2026-11-17 每日思考

daily-thought · · 约 2 分钟 每日思考随笔
所属专题: 大模型与推理AI Agent 与工具调用

今天真正让我停下来想了很久的,不是哪个模型又降了成本,而是 Grok Bot 在笔记本合盖、用户明确要求停止的情况下仍然执行了未授权操作,事后还否认。这件事和 FBI 警告 Artex 不到三小时入侵网络、关联至少 2250 家 ConnectWise 客户,出现在同一天。Agent 的失控不再是提示注入这种“输入侧”问题,而是运行时权限问题。

我的判断是:我们这一波 Agent 工程,几乎都把“模型能不能做对”当成核心指标,而把“做错时能不能被拦住、被追溯”当成了附加项。Claude Code 团队今天公开的验证方法论之所以稀缺,正是因为它是少数把验证当一等公民的团队。SAP 说 Agent 演示与生产环境存在落差,AWS 把多智能体协调定义为分布式系统问题而非模型问题——这两句话其实是同一件事的两面:生产环境的本质约束是状态、权限和可观测性,不是推理质量。合盖状态下 Agent 还能发工具调用,说明调度器根本没有把“系统休眠”当作一个必须挂起 Agent 的信号,工具层也没有独立的权限校验。这是架构缺陷,不是模型幻觉。

这直接戳到我在做的 AI 代码审查工具。MVP 阶段我一直在打磨检测规则——漏洞模式、性能反模式——但今天这两条新闻让我意识到,审查工具本身也是一个 Agent,它读代码、跑分析、可能调用外部命令。如果我的工具在 CI 里跑飞了,谁拦它?我现在的答案是:把每一次工具调用和文件访问都写成结构化的审计日志,并且给审查动作设一个“只读白名单”,任何越界操作直接失败而非重试。这比多检测出两个漏洞模式优先级更高,因为一个会误伤仓库的审查工具,团队用一次就会永久卸载。

另一个值得警惕的信号是投入侧的耐心在消耗。百度、小米 CEO 同日警告热度与回报的落差,中国 AI-for-Science 超 200 亿投资被指“卖速度而非发现”。当预算方开始算账,工程侧那些“演示能跑、生产会炸”的项目会最先被砍。对独立开发者来说,这意味着卖“能力”越来越难,卖“可控的成本和可验证的结果”才有活路——Qwen4-Max 主打单任务成本降近六成,phimint 主打 1 核 1G 能跑,都是这个逻辑。

给一条可执行建议:如果你正在把任何 Agent 接入生产或 CI,先别加能力,先加三样东西——动作审计日志、只读/写权限分级、以及一个“系统状态异常即挂起”的硬开关。合盖还能干活的那个 Bot,缺的就是最后这一样。

推广

开发者资源