KNOWLEDGE
知识库
从文章中自动沉淀的技术术语与概念。
算法 201
0/1 背包问题(0/1 Knapsack Problem)
经典的动态规划问题,在容量限制下从物品中选择子集以最大化总价值,每件物品只能选或不选。
ACT
动作分块 Transformer(Action Chunking Transformer)思路,ChunkAct 在其基础上以外层 LLM 编排延续。
ACT (Action Chunking Transformer)
动作分块 Transformer,通过一次预测多步动作序列来降低机器人控制中模型调用频率的方法。
AD-WM
Action-Discriminative World Models,动作判别性世界模型,将动作可判别性作为训练目标,使世界模型在反事实分支上更可靠。
AES
高级加密标准(Advanced Encryption Standard),对称分组加密算法,常用于数据加密与交换分区加密。
Autoregressive Decoding
大多数 LLM 服务系统使用的基线解码方式,模型一次生成一个 token。
BLAS (Basic Linear Algebra Subprograms)
基础线性代数子程序,是一组用于执行向量和矩阵运算的低级例程标准,常被 NumPy 等库调用以加速计算。
BLOOM-WILT
一种 Logit 倾斜行为探测方法,通过主动倾斜 logit 分布引导模型暴露部署环境中罕见的危险行为,解决传统红队测试覆盖不足的问题。
BPE(Byte Pair Encoding)
一种主流的分词算法,通过迭代合并频率最高的字节对来构建词表。广泛应用于大语言模型的 tokenizer 中。
BiasFlow
一种针对虚假特征依赖的几何监控与骨干正则化方法,指出 worst-group accuracy 只评估训练好的 predictor 而无法刻画冻结 backbone 的行为。
Chain-of-Self-Questioning(CoSQ)
一种让模型在回答前自我追问若干子问题、通过子问题置信度分布判断是否应该弃答的方法。将元认知外化为可审计的推理链,适用于选择性风险控制场景。
CliffCompaction
一种压缩策略,动态识别会话中信息密度骤降的区段进行激进压缩,目的是保住关键决策链而非节省 token。
Co-Evolving Acting and Forecasting
用预测误差反哺策略、以 world model 监督替代部分昂贵 rollout 的方法,提升采样效率。
Contrastive Discovery
针对 LLM 科研 agent 的方法,同时持有多组候选解释并用能区分它们的实验主动消歧,对应假说检验中的信息增益最大化
DPO
Direct Preference Optimization,一种比 RLHF 更轻量的偏好对齐方法,但仍需梯度计算。
DPO(Direct Preference Optimization)
一种直接偏好优化方法,用于大语言模型的偏好对齐。相比 RLHF,DPO 更轻量,但仍需要梯度计算。
DeltaReplay
一种针对移动 GUI Agent 的记忆复用方法,以“任务相对”的增量方式只迁移可迁移的部分,而非整条轨迹照搬。
Diffusion Transformer
一种结合扩散模型与 Transformer 架构的生成模型,文中用于从照片数据推断深度信息。
Direct Nash Optimization(DNO)
用两人偏好博弈的纳什均衡近似来对齐语言模型通用偏好的方法,绕开 RLHF 中奖励模型单点估计的偏差问题。
Direct Pass@k Optimization for Thought Pruning
将思维链剪枝建模为 Pass@k 目标优化问题的方法,使剪枝策略本身可被训练,并将质量与多样性作为显式权衡项纳入损失函数。
Fourier transform
A method of transforming an input signal from the time domain to the frequency domain, widely used in audio processing and other signal analysis applications.
GPU lattice siever
一种利用 GPU 加速的格筛法实现,用于大整数分解中的筛法步骤,可显著提升分解效率。
HNSW
分层可导航小世界图(Hierarchical Navigable Small World)算法,一种用于近似最近邻搜索的图索引结构,具有高召回率和较快查询速度。
Harness-Zero
一种方法,将强 harness 驱动弱模型产生的轨迹反向蒸馏回模型权重,以解决 prompt、控制流、工具编排带来的增益锁死在系统层的问题。
Hierarchical Tree-Structured Indexer
用层次化树索引替代全量打分的注意力索引方法,走结构化索引路线以降低长上下文注意力成本。
Hirschberg 算法
一种用于序列对齐的分治算法,可将空间复杂度降低到线性级别;文章标题提及将其与滑动窗口结合用于背包问题的动态规划。
IVFFlat
pgvector 提供的一种基于倒排文件(Inverted File)的近似最近邻索引方法,通过聚类划分向量空间以加速检索。
JIT 位图字体渲染
在微控制器上把字形光栅化逻辑编译成目标平台机器码,用运行时代码生成替代查表,以降低 flash 占用并缩短渲染路径。
LRU
最近最少使用淘汰策略,在 agentic 场景的 KV-cache 淘汰策略横向对比中表现为强基线,其命中率并未被新论文策略显著超越。
LRU (Least Recently Used)
一种缓存淘汰策略,优先移除最近最少使用的数据;在KV缓存场景中常被用作基线策略。
Latent Sparse Attention
面向 agentic workflow 长程任务的稀疏注意力方法,将注意力复杂度压缩到次二次,走稀疏化路线。
Off-Policy Merging
一种持续学习方法,通过合并 post-trained 模型的权重来更新模型,比 on-policy 自蒸馏更便宜且效果更好。
Oilpan
Chromium 团队为管理 C++ 对象图而采用的垃圾收集器,用于处理 DOM 周围与 JavaScript 对象紧密交织的 C++ 对象。
On-Policy Self-Distillation
一种持续学习方法,模型在自身生成的轨迹上进行蒸馏训练,计算成本高于 off-policy 权重合并。
PPO
近端策略优化(Proximal Policy Optimization),一种常用的强化学习算法,通过限制策略更新幅度来稳定训练过程。
PTQ (Post-training Quantization)
训练后量化,在模型训练完成后对权重进行低比特量化以降低部署成本的技术。
Polynomial approximation
用多项式函数逼近复杂函数(如三角函数)的方法,常用于浮点运算中以提高计算效率。
Proof-of-Work
一种要求请求方完成一定计算量才能获得服务的机制,源自 Hashcash,用于抵御垃圾邮件和自动化爬取。
RAPID
Robot Agentic Programming from Demonstrations,从演示中让 Agent 自动生成机器人程序的方法,使机器人行为可解释、可编辑、可复用。
RLHF
Reinforcement Learning from Human Feedback,基于人类反馈的强化学习,用于对齐大模型行为。
RLHF(Reinforcement Learning from Human Feedback)
基于人类反馈的强化学习方法,用于对齐大语言模型的行为与人类偏好。通常需要训练奖励模型并通过强化学习优化策略。
Raycaster
一种用于实时渲染 3D 场景的渲染技术,通过从视点向场景投射光线来确定可见表面,常用于早期第一人称游戏。
RoPE
旋转位置编码(Rotary Position Embedding),现代 LLM 广泛使用的位置编码方案,其频率基(base)选择决定模型在训练长度之外的外推能力
Rolling-WAM
World Action Models with Rolling Imagination,使用滚动想象缓解长程联合预测误差累积的世界动作模型。
SDF
Signed Distance Field,一种通过存储每个像素到字形轮廓最近距离来表示字形的方法,可在 GPU 上实现任意缩放下的清晰文本渲染。
Secretary Problem(秘书问题)
最优停止理论中的经典问题,研究在依次面试候选人时如何决定何时停止以选出最佳人选。
Self-organizing tree models
Palubicki等人在SIGGRAPH 2009提出的树木建模方法:芽竞争光照,树木分配生长资源,成功者产生新枝条,形成反馈循环塑造树冠形态。
Semigroup-JEPA
在 JEPA 世界模型上引入半群结构约束的方法,让隐空间动力学满足时间组合律,从而在未见物理配置上实现零样本泛化。
Slug
一种 GPU 文本渲染算法,与 SDF、MSDF 等方案并列,用于在 GPU 上以任意尺寸和 3D 变换清晰绘制文本。
Speculative Decoding
一种大语言模型推理优化技术,允许在单次目标模型前向传播中验证多个草拟的 token,从而提升输出吞吐量。
SwarmEvolve
将 LLM 进化搜索升级为隐空间 agent 群体协同演化的方法,群体交互发生在表征空间而非文本空间,绕开长上下文的 token 成本爆炸。
TALA
Terrastruct's AutoLayout Algorithm,一种专为软件架构图设计的新型自动布局算法,主要采用正交布局引擎。
TANGO
一种全身视觉-语言-动作(VLA)模型,用于人形机器人在杂乱室内环境中的导航,直接输出控制指令而跳过 2D 路径规划中间层。
TabPFN
一种无需在目标表格上训练即可直接进行预测的表格数据模型,据称在多个基准数据集上优于调优后的 XGBoost。
UnigramLM
一种基于一元语言模型的分词算法,通过概率模型选择最优分词方案。与 BPE 并列为大语言模型 tokenizer 的主流算法之一。
Vending-Bench
一种用于模拟 AI 系统在现实世界中自主获取资源行为的仿真基准,但被认为无法完整反映模型在真实世界中的表现。
Voronoi Noise
一种基于 Voronoi 图(维诺图)的噪声生成算法,通过计算空间中各点与最近特征点的距离来生成具有几何感和有机感的纹理图案,常用于着色器(shader)中作为背景或程序化纹理。
blendshape 蒸馏
把动画驱动能力压缩到一套共享基(blendshape)上的蒸馏方法,用于绕开逐帧神经推理,实现实时头像驱动。
gearhash
一种滚动哈希(rolling hash)算法,常用于内容定义分块(content-defined chunking),通过滑动窗口计算数据块的哈希值以确定分块边界。
mixture of experts
专家混合架构,一种神经网络设计,其中模型包含多个专家子网络,每个输入仅激活部分专家,从而在保持大参数量的同时减少计算量。
procedural tree growth
程序化树木生长,通过算法模拟树木分枝结构的生成过程,文中基于Palubicki等人2009年SIGGRAPH论文的模型。
三体问题(three-body problem)
经典力学问题,指三个质量体在引力作用下的运动没有通解,但存在数千个周期轨道,即三个质量体相互绕行一个周期后精确回到初始位置和速度。
交错强化学习
Interleaved Reinforcement Learning,一种训练统一多模态模型原生反思能力的方法,通过生成-诊断-修复的闭环进行强化学习。
关键 Token 自适应检索
在仓库级代码生成中识别 API 签名、类型声明等关键 token 并分配更高检索权重的方法,仓库规模越大收益越明显。
判别式世界模型
用于 Web Agent 的模型,显式预测并排序 Web 状态而非生成候选动作,比生成式模拟更省算力,更适合测试时搜索。
半事实信用分配
一种在推理链中精确定位哪一步真正起作用的方法,通过对比实际推理路径与假设性反事实路径来分配信用,用于训练模型的推理能力。
反事实遗憾最小化(CFR)
一种用于博弈论求解的数值算法,长期表现为 CPU 比 GPU 更快,原因是每轮迭代的博弈树遍历分支多、内核启动频繁、访存不规则。
奖励塑形(Reward Shaping)
在稀疏奖励的长程任务中,通过可回放轨迹 grounding 出中间稠密奖励信号以引导训练的方法。
对比解码
在生成时对比不同分支的置信度、压制低置信度推理路径以减少冗余 token 的解码策略,DoubtLess 采用免训练方式实现。
层流式 (Layer Streaming)
一种模型加载技术,通过逐层流式加载,使得在 4GB 显存的笔记本 GPU 上微调 8B 模型成为可能。
思维链剪枝(Thought Pruning)
在推理阶段削减思维链中冗余 token 以降低推理成本的技术,正从启发式规则转向可训练的优化目标。
扩散模型(Diffusion)
一类生成模型,通过学习逐步去噪的过程来生成数据,常用于图像生成,也被用于建模神经网络权重等任务。
技能空间射击
Skill-Space Shooting,一种机器人策略改进方法,在技能空间中进行射击式搜索,将策略改进拆解为可复用的技能组合。
栈分配器(stack allocator / bump allocator)
一种内存分配策略,通过移动指针在连续内存块上顺序分配,释放时整体回退,适合高性能、生命周期规整的场景。
样条 (Spline)
一种由多项式分段定义的平滑函数,常用于拟合数据,在本文中用于放宽AI任务难度与人类时间对数呈线性关系的假设。
滑动窗口注意力 (Sliding-Window Attention, SWA)
一种注意力机制,每个token只关注其邻近窗口内的token,从而降低计算复杂度并支持长序列处理。
磁性特征鉴定法
一种通过读取陶器的磁性签名来判断其是否为古代文物的方法,由加州大学圣地亚哥分校斯克里普斯海洋研究所团队开发。
自回归扩散
Autoregressive diffusion,一种结合自回归模型与扩散模型的生成方法,按序列逐步生成数据。文中探讨其是否可用于生成市场数据。
视频超分(Video Super-Resolution)
利用 AI 模型提升视频分辨率的技术,文中指 Clipchamp 可将视频提升至 4K。
角色耦合 tokenization
将读、分配、路由拆分为不同 token 角色的 tokenization 方法,用于优化像素空间生成 Transformer 的 token 效率。
轨迹感知的 SWE Agent 评估
将评估信号分解到探索轨迹上,定位失败发生在检索、规划还是补丁生成环节,而非仅关注 pass@k 指标。
逆运动学 (Inverse Kinematics)
在动画或机器人学中,根据末端执行器(如脚部)的目标位置反推关节角度的方法,常用于实现脚部锁定以避免滑动。
项目反应理论 (Item-Response Theory)
一种统计模型,用于分析测试中受试者能力与题目难度之间的关系,本文中用于重新计算AI时间范围。