全部 其他 协议 工具 框架 概念 算法 语言

算法 201

0/1 背包问题(0/1 Knapsack Problem)
经典的动态规划问题,在容量限制下从物品中选择子集以最大化总价值,每件物品只能选或不选。
3D 高斯
用三维高斯分布表示场景的渲染与重建方法,渲染速度快,但实时驱动通常受限于昂贵的神经推理。
4D-HOF
一种手-物交互重建方法,使用 flow matching 直接回归 4D 交互轨迹,将逐序列优化推向前馈生成。
ACT
动作分块 Transformer(Action Chunking Transformer)思路,ChunkAct 在其基础上以外层 LLM 编排延续。
ACT (Action Chunking Transformer)
动作分块 Transformer,通过一次预测多步动作序列来降低机器人控制中模型调用频率的方法。
AD-WM
Action-Discriminative World Models,动作判别性世界模型,将动作可判别性作为训练目标,使世界模型在反事实分支上更可靠。
AES
高级加密标准(Advanced Encryption Standard),对称分组加密算法,常用于数据加密与交换分区加密。
AST 匹配
基于抽象语法树的结构化代码分析技术,用于确定性地检测代码模式,可替代模型判断以降低误报。
Attention
注意力机制,Transformer 架构的核心组件,用于建模序列中元素之间的依赖关系。
Autoregressive Decoding
大多数 LLM 服务系统使用的基线解码方式,模型一次生成一个 token。
BLAS (Basic Linear Algebra Subprograms)
基础线性代数子程序,是一组用于执行向量和矩阵运算的低级例程标准,常被 NumPy 等库调用以加速计算。
BLOOM-WILT
一种 Logit 倾斜行为探测方法,通过主动倾斜 logit 分布引导模型暴露部署环境中罕见的危险行为,解决传统红队测试覆盖不足的问题。
BM25
一种经典的信息检索排序算法,基于词频和逆文档频率对文档相关性打分。
BPE(Byte Pair Encoding)
一种主流的分词算法,通过迭代合并频率最高的字节对来构建词表。广泛应用于大语言模型的 tokenizer 中。
Base84
一种编码方案,论证 84 是文件名安全字符集下的最优编码基数,比 Base64 多约 31% 信息密度。
BiasFlow
一种针对虚假特征依赖的几何监控与骨干正则化方法,指出 worst-group accuracy 只评估训练好的 predictor 而无法刻画冻结 backbone 的行为。
BitNet
一种使用 1.58 位量化权重的神经网络架构,旨在大幅降低大语言模型的存储和计算开销。
CLZ
Count Leading Zeros,计算固定宽度整数中前导零比特数的指令,现代 CPU 通常原生支持。
CORDIC
一种用于计算三角函数、双曲函数等的迭代算法,通过旋转向量来逼近目标角度,适合硬件实现。
CTZ
Count Trailing Zeros,计算固定宽度整数中尾部零比特数的指令,文中讨论了其向量化实现。
Chain-of-Self-Questioning(CoSQ)
一种让模型在回答前自我追问若干子问题、通过子问题置信度分布判断是否应该弃答的方法。将元认知外化为可审计的推理链,适用于选择性风险控制场景。
ChunkAct
将动作分块引入 LLM 驱动机器人控制的方法,把高频控制降频为低频规划。
CliffCompaction
一种压缩策略,动态识别会话中信息密度骤降的区段进行激进压缩,目的是保住关键决策链而非节省 token。
Co-Evolving Acting and Forecasting
用预测误差反哺策略、以 world model 监督替代部分昂贵 rollout 的方法,提升采样效率。
Contrastive Discovery
针对 LLM 科研 agent 的方法,同时持有多组候选解释并用能区分它们的实验主动消歧,对应假说检验中的信息增益最大化
ConvMem
卷积式记忆结构,用于缓解固定上下文窗口的瓶颈,把长上下文推理从塞进窗口改为可卷积检索的记忆层。
DEFLATE
一种无损数据压缩算法,结合了 LZ77 与哈夫曼编码,广泛用于 zip、gzip 等格式。
DPO
Direct Preference Optimization,一种比 RLHF 更轻量的偏好对齐方法,但仍需梯度计算。
DPO(Direct Preference Optimization)
一种直接偏好优化方法,用于大语言模型的偏好对齐。相比 RLHF,DPO 更轻量,但仍需要梯度计算。
DPO(直接偏好优化)
一种偏好对齐训练方法,其开销主要来自输出打分与反向传播,可通过计算图剪枝降低训练成本。
DeltaReplay
一种针对移动 GUI Agent 的记忆复用方法,以“任务相对”的增量方式只迁移可迁移的部分,而非整条轨迹照搬。
Diffusion Transformer
一种结合扩散模型与 Transformer 架构的生成模型,文中用于从照片数据推断深度信息。
Direct Nash Optimization(DNO)
用两人偏好博弈的纳什均衡近似来对齐语言模型通用偏好的方法,绕开 RLHF 中奖励模型单点估计的偏差问题。
Direct Pass@k Optimization for Thought Pruning
将思维链剪枝建模为 Pass@k 目标优化问题的方法,使剪枝策略本身可被训练,并将质量与多样性作为显式权衡项纳入损失函数。
ECDSA
椭圆曲线数字签名算法,是最广泛使用的公钥密码学标准之一,用于数字签名。
Environment Duels
把前沿模型互相吸收对方产出做成双环境对抗实验的方法,用于量化研究模型坍缩问题。
F1
F1 分数,精确率与召回率的调和平均数,常用于综合衡量分类模型的性能,但会将误报与漏报等同对待。
FFT
快速傅里叶变换,一种高效计算离散傅里叶变换的算法,文中讨论了 OpenAI 相关算法的争议
FLIP
Fluid Implicit Particle 的缩写,一种流体模拟算法,结合了粒子与隐式表面表示方法。
FM合成
频率调制合成,一种通过调制载波频率来生成复杂音色的声音合成技术
Flow Matching
一种生成建模方法,本文用于测试时训练以进行高维状态估计的贝叶斯滤波。
Fluid simulation
流体模拟,通过计算方法再现液体流动、扩散等物理行为的技术,常用于视觉特效。
Fourier transform
A method of transforming an input signal from the time domain to the frequency domain, widely used in audio processing and other signal analysis applications.
FurE
一种无需动物毛发数据集、从多视角图像直接重建可编辑实例级 3D 毛发的方法。
G1 Garbage Collector
Java 27 中成为默认垃圾收集器的 G1 GC。
GPU lattice siever
一种利用 GPU 加速的格筛法实现,用于大整数分解中的筛法步骤,可显著提升分解效率。
GPU-CFR
一种算法-硬件协同的通用模板,结合 GPU 加速和反事实 regret 最小化,用于高效计算。
GRPO
一类用于 LLM 推理训练的强化学习优化方法,其效果受信用分配准确性影响。
Gacha Decoding
一种推理时的多样性解码方法,把多样性落到指令遵循上,且随模型能力提升而扩展,而非依赖固定温度等超参。
Gaussian Splats
基于高斯基元的 3D 场景表示与渲染方法,用于高效重建和渲染三维场景。
HNSW
分层可导航小世界图(Hierarchical Navigable Small World)算法,一种用于近似最近邻搜索的图索引结构,具有高召回率和较快查询速度。
Harness-Zero
一种方法,将强 harness 驱动弱模型产生的轨迹反向蒸馏回模型权重,以解决 prompt、控制流、工具编排带来的增益锁死在系统层的问题。
Hashcash
一种提议的工作量证明方案,最初用于减少电子邮件垃圾邮件,通过要求发送方付出计算成本来限制滥用。
Heilbronn 问题
一个数学优化问题:在单位面积区域内放置 n 个点,使得任意三点构成的最小三角形面积尽可能大。
Hierarchical Tree-Structured Indexer
用层次化树索引替代全量打分的注意力索引方法,走结构化索引路线以降低长上下文注意力成本。
Hirschberg 算法
一种用于序列对齐的分治算法,可将空间复杂度降低到线性级别;文章标题提及将其与滑动窗口结合用于背包问题的动态规划。
Honeycomb-Surfels
用六边形蜂窝单元替代球形/高斯基元的紧凑场景表示方法,旨在降低内存与计算开销。
IVFFlat
pgvector 提供的一种基于倒排文件(Inverted File)的近似最近邻索引方法,通过聚类划分向量空间以加速检索。
JIT 位图字体渲染
在微控制器上把字形光栅化逻辑编译成目标平台机器码,用运行时代码生成替代查表,以降低 flash 占用并缩短渲染路径。
LP 松弛
将含非线性或整数约束的问题放宽为线性规划求解的近似手段。
LRU
最近最少使用淘汰策略,在 agentic 场景的 KV-cache 淘汰策略横向对比中表现为强基线,其命中率并未被新论文策略显著超越。
LRU (Least Recently Used)
一种缓存淘汰策略,优先移除最近最少使用的数据;在KV缓存场景中常被用作基线策略。
Latent Sparse Attention
面向 agentic workflow 长程任务的稀疏注意力方法,将注意力复杂度压缩到次二次,走稀疏化路线。
MPC
Model Predictive Control,模型预测控制,一种通过优化未来动作序列来控制系统的控制方法。
MaxIM
用强化学习直接优化有界记忆对无界历史表示质量的方法,将摘要更新策略作为可训练目标
NTK-aware 插值
一种基于神经正切核理论的位置编码插值方法,用于扩展 LLM 的上下文长度
Next-Concept Modeling
一种从粗到细、可并行生成文本的生成建模范式,旨在加速文本生成过程。
Off-Policy Merging
一种持续学习方法,通过合并 post-trained 模型的权重来更新模型,比 on-policy 自蒸馏更便宜且效果更好。
Oilpan
Chromium 团队为管理 C++ 对象图而采用的垃圾收集器,用于处理 DOM 周围与 JavaScript 对象紧密交织的 C++ 对象。
On-Policy Self-Distillation
一种持续学习方法,模型在自身生成的轨迹上进行蒸馏训练,计算成本高于 off-policy 权重合并。
PPO
近端策略优化(Proximal Policy Optimization),一种常用的强化学习算法,通过限制策略更新幅度来稳定训练过程。
PTQ (Post-training Quantization)
训练后量化,在模型训练完成后对权重进行低比特量化以降低部署成本的技术。
Plate-solving
天文板解算,通过分析拍摄的星空图像中的恒星图案来确定望远镜指向的天区坐标的技术。
Polynomial approximation
用多项式函数逼近复杂函数(如三角函数)的方法,常用于浮点运算中以提高计算效率。
Pratt 解析
一种自顶向下的表达式解析算法(又称自顶向下运算符优先级解析),文中作者通过写作来加深对其的记忆。
Proof-of-Work
一种要求请求方完成一定计算量才能获得服务的机制,源自 Hashcash,用于抵御垃圾邮件和自动化爬取。
RAPID
Robot Agentic Programming from Demonstrations,从演示中让 Agent 自动生成机器人程序的方法,使机器人行为可解释、可编辑、可复用。
RATED
将调用成功率、延迟、失败模式纳入工具排序的工具检索可靠性方法,使工具注册表成为带运行时统计的活体目录。
RL
强化学习(Reinforcement Learning),一种通过奖励信号训练模型决策的机器学习范式。
RLHF
Reinforcement Learning from Human Feedback,基于人类反馈的强化学习,用于对齐大模型行为。
RLHF(Reinforcement Learning from Human Feedback)
基于人类反馈的强化学习方法,用于对齐大语言模型的行为与人类偏好。通常需要训练奖励模型并通过强化学习优化策略。
RSA
一种公钥加密算法,其安全性依赖于分解大合数(半素数)的难度。
Raft
一种用于管理复制日志的分布式一致性算法,易于理解,常用于构建高可用集群。
Raycaster
一种用于实时渲染 3D 场景的渲染技术,通过从视点向场景投射光线来确定可见表面,常用于早期第一人称游戏。
RoPE
旋转位置编码(Rotary Position Embedding),现代 LLM 广泛使用的位置编码方案,其频率基(base)选择决定模型在训练长度之外的外推能力
Rolling-WAM
World Action Models with Rolling Imagination,使用滚动想象缓解长程联合预测误差累积的世界动作模型。
SAE
稀疏自编码器(Sparse Autoencoder),Anthropic 用于可解释性研究的模型内部表征分解方法。
SDF
Signed Distance Field,一种通过存储每个像素到字形轮廓最近距离来表示字形的方法,可在 GPU 上实现任意缩放下的清晰文本渲染。
Secretary Problem(秘书问题)
最优停止理论中的经典问题,研究在依次面试候选人时如何决定何时停止以选出最佳人选。
Self-organizing tree models
Palubicki等人在SIGGRAPH 2009提出的树木建模方法:芽竞争光照,树木分配生长资源,成功者产生新枝条,形成反馈循环塑造树冠形态。
Semigroup-JEPA
在 JEPA 世界模型上引入半群结构约束的方法,让隐空间动力学满足时间组合律,从而在未见物理配置上实现零样本泛化。
Slug
一种 GPU 文本渲染算法,与 SDF、MSDF 等方案并列,用于在 GPU 上以任意尺寸和 3D 变换清晰绘制文本。
Speculative Decoding
一种大语言模型推理优化技术,允许在单次目标模型前向传播中验证多个草拟的 token,从而提升输出吞吐量。
SwarmEvolve
将 LLM 进化搜索升级为隐空间 agent 群体协同演化的方法,群体交互发生在表征空间而非文本空间,绕开长上下文的 token 成本爆炸。
Switch lowering
编译器将 switch 语句转换为决策树、跳转表或位集等底层实现形式的优化过程。
TALA
Terrastruct's AutoLayout Algorithm,一种专为软件架构图设计的新型自动布局算法,主要采用正交布局引擎。
TANGO
一种全身视觉-语言-动作(VLA)模型,用于人形机器人在杂乱室内环境中的导航,直接输出控制指令而跳过 2D 路径规划中间层。
TTRL
基于多数投票生成伪标签的强化学习方法,其伪标签可靠性在模型置信度分布偏斜时会放大系统性错误
TabICL
与 TabPFN 类似的免训练表格预测模型,声称在表格任务上无需训练即可超越调优的梯度提升模型。
TabPFN
一种无需在目标表格上训练即可直接进行预测的表格数据模型,据称在多个基准数据集上优于调优后的 XGBoost。
Tev
针对长程 Agent 奖励稀疏问题的密集进度奖励方法,用中间步骤打分替代结果式奖励。
Treap(笛卡尔树)
结合二叉搜索树和二叉堆特性的数据结构,按 X 值满足二叉搜索树性质、按 Y 值满足堆性质。
UnigramLM
一种基于一元语言模型的分词算法,通过概率模型选择最优分词方案。与 BPE 并列为大语言模型 tokenizer 的主流算法之一。
VAE
变分自编码器(Variational Autoencoder),常用于将图像压缩到潜空间,其压缩过程存在有损瓶颈。
Vending-Bench
一种用于模拟 AI 系统在现实世界中自主获取资源行为的仿真基准,但被认为无法完整反映模型在真实世界中的表现。
Voronoi Noise
一种基于 Voronoi 图(维诺图)的噪声生成算法,通过计算空间中各点与最近特征点的距离来生成具有几何感和有机感的纹理图案,常用于着色器(shader)中作为背景或程序化纹理。
XGBoost
一种高效的梯度提升决策树实现,广泛用于结构化/表格数据的机器学习任务,通常需要调参训练。
YaRN
一种长上下文外推方案,用于扩展 LLM 在训练长度之外的位置编码有效性
ZipCodec
超低帧率流式语音编解码方案,将神经音频编解码的压缩维度从比特率转向帧率,以降低流式对话系统的延迟与算力开销。
blendshape 蒸馏
把动画驱动能力压缩到一套共享基(blendshape)上的蒸馏方法,用于绕开逐帧神经推理,实现实时头像驱动。
delta-rule
线性注意力/循环状态更新中常用的一种规则,用于在固定状态中增量式地写入和更新信息。
foldl
函数式编程中的左折叠操作,从列表左侧开始依次将元素与累积值结合。
gearhash
一种滚动哈希(rolling hash)算法,常用于内容定义分块(content-defined chunking),通过滑动窗口计算数据块的哈希值以确定分块边界。
heap spray
堆喷射,一种漏洞利用技术,通过大量分配内存来增加特定对象在可预测地址出现的概率。
leave-one-out 归因
逐段移除输入并重跑模型以衡量各段贡献的归因方法,成本随输入长度线性增长。
linear probe
一种可解释性技术,通过在模型隐层上训练线性分类器来检测特定概念或行为。
malloc()
C 语言标准库中用于动态分配内存的函数,文中回顾了 Unix 早期对其的实现方式。
mixture of experts
专家混合架构,一种神经网络设计,其中模型包含多个专家子网络,每个输入仅激活部分专家,从而在保持大参数量的同时减少计算量。
n-gram 模型
一种无神经网络、无权重、无训练的语言模型,仅通过计数生成文本,如用于生成莎士比亚风格文本。
procedural tree growth
程序化树木生长,通过算法模拟树木分枝结构的生成过程,文中基于Palubicki等人2009年SIGGRAPH论文的模型。
sketching
用紧凑的草图结构近似原始计算过程以降低开销的技术,此处用于近似 LOO 归因。
test-time 环境隐变量优化
在测试时在线优化摩擦、负载、光照等无法从当前帧推断的环境隐变量,而非仅依赖训练分布。
三体问题(three-body problem)
经典力学问题,指三个质量体在引力作用下的运动没有通解,但存在数千个周期轨道,即三个质量体相互绕行一个周期后精确回到初始位置和速度。
交错强化学习
Interleaved Reinforcement Learning,一种训练统一多模态模型原生反思能力的方法,通过生成-诊断-修复的闭环进行强化学习。
低比特量化
将模型参数用较少比特表示以压缩模型、降低显存开销的技术。
信息增益最大化
选择能最大程度减少不确定性的实验或观测的决策准则。
全局早停
训练中依据整体验证集表现选择最优轮次并停止训练的策略,本文指出其在表格回归任务上存在系统性缺陷,可能掩盖部分样本的过拟合
关键 Token 自适应检索
在仓库级代码生成中识别 API 签名、类型声明等关键 token 并分配更高检索权重的方法,仓库规模越大收益越明显。
判别式世界模型
用于 Web Agent 的模型,显式预测并排序 Web 状态而非生成候选动作,比生成式模拟更省算力,更适合测试时搜索。
动作分块
将连续的高频控制动作切分为块,由高层规划低频下发,降低控制频率并提升长程任务的可执行性,如 ChunkAct。
半事实信用分配
一种在推理链中精确定位哪一步真正起作用的方法,通过对比实际推理路径与假设性反事实路径来分配信用,用于训练模型的推理能力。
半事实信用增强
构造保持其他步骤不变、只替换单步的反事实轨迹来定位真正贡献推理步的方法,相比完整反事实可减少轨迹重采样成本。
双栈滑动窗口聚合
一种使用两个栈结构实现滑动窗口内数据聚合(如求和、最小值等)的算法技术。
反事实遗憾最小化(CFR)
一种用于博弈论求解的数值算法,长期表现为 CPU 比 GPU 更快,原因是每轮迭代的博弈树遍历分支多、内核启动频繁、访存不规则。
反向传播 (Backpropagation)
用于训练神经网络的算法,通过反向传播误差来计算网络中各节点的梯度。
变长编码
信息论中按符号重要性分配不同码长的编码方法,VLCQ 将其引入量化,对权重按重要性分配不同比特宽度。
可达性查询
在图结构中判断从一个节点是否能到达另一个节点的查询,在代码审查中用于追踪调用链和数据流。
向量检索
基于向量相似度(如余弦距离)从向量库中召回与查询语义相近的片段的方法。
块扩散
一种非自回归生成方法,用块级扩散替代自回归处理纵向电子病历,绕开严格时序生成的串行瓶颈。
域随机化
在仿真训练中随机化环境参数以提升模型泛化能力的技术,用于缩小仿真与真实世界之间的差距。
增量解析
在输入变化时仅重新解析受影响部分而非整个输入的解析技术,提升编辑器和工具的响应效率。
多 Token 预测
一次前向预测多个未来 token 的训练与推理技术(如 ECHO),可提升效率并支持长上下文。
多目标组合优化
同时优化多个相互冲突目标的组合优化问题,其算子设计长期依赖专家经验,可由 LLM 生成加自演化闭环部分替代。
多路由器 MoE
按层或按 token 类型使用多个路由器分流专家的混合专家架构,是当前降本的主流工程路线。
多边形三角剖分
将多边形分解为一组三角形的算法过程,是地图渲染和图形处理中的基础操作。
奖励塑形(Reward Shaping)
在稀疏奖励的长程任务中,通过可回放轨迹 grounding 出中间稠密奖励信号以引导训练的方法。
学习率衰减
训练过程中逐步降低学习率的调度策略,UTA 提出由 Universal Budget 推导的自适应方案以减少调参。
密集进度奖励
在长程强化学习中用中间步骤的评分替代稀疏的最终奖励,以缓解奖励稀疏问题,如 Tev 方法。
对抗投机推理
将投机解码从纯加速手段转化为推理机制,用对抗式草稿推理改变推理路径、提升长程 agent 规划质量的方法。
对比解码
在生成时对比不同分支的置信度、压制低置信度推理路径以减少冗余 token 的解码策略,DoubtLess 采用免训练方式实现。
尺寸-权重前沿方法
针对合成数据在统计推断中引入偏差的问题,提出在真实数据稀缺场景下平衡偏差与方差的系统性方案。
层流式 (Layer Streaming)
一种模型加载技术,通过逐层流式加载,使得在 4GB 显存的笔记本 GPU 上微调 8B 模型成为可能。
并行空间异常检测
将大范围点云切分为可并行子区域、由多个 agent 各自检测异常地形再汇总的管线。
循环状态量化
对线性注意力中固定大小的循环状态进行低精度数值表示的技术,旨在减少显存占用,但会引入永久性误差。
思维链剪枝
在测试时推理中削减思维链 token 以降低推理成本的技术,本文将其建模为 Pass@k 目标的优化问题。
思维链剪枝(Thought Pruning)
在推理阶段削减思维链中冗余 token 以降低推理成本的技术,正从启发式规则转向可训练的优化目标。
扩散模型
一类生成式 AI 模型,通过逐步去噪从随机噪声中生成图像等内容。
扩散模型 (Diffusion Model)
一类生成模型,通过逐步去噪过程从随机噪声中生成图像、音频等数据。
扩散模型(Diffusion)
一类生成模型,通过学习逐步去噪的过程来生成数据,常用于图像生成,也被用于建模神经网络权重等任务。
技能空间射击
Skill-Space Shooting,一种机器人策略改进方法,在技能空间中进行射击式搜索,将策略改进拆解为可复用的技能组合。
投机解码
通过草稿-验证结构加速推理的系统优化手段,本文将其改造为对抗式草稿推理机制以提升长程 agent 规划质量。
整数乘法算法
用于计算大整数乘积的算法,近期研究提出了复杂度为 O(n log n) 的新算法。
时间步感知量化
针对扩散模型不同时间步与任务类型量化敏感度不同而设计的差异化量化策略。
权重衰减
一种正则化技术,通过在损失函数中加入参数惩罚项来防止模型过拟合。
栈分配器(stack allocator / bump allocator)
一种内存分配策略,通过移动指针在连续内存块上顺序分配,释放时整体回退,适合高性能、生命周期规整的场景。
样条 (Spline)
一种由多项式分段定义的平滑函数,常用于拟合数据,在本文中用于放宽AI任务难度与人类时间对数呈线性关系的假设。
核采样
一种从累积概率达到阈值的最小词集合中采样的解码策略,常用于控制生成文本的多样性与质量。
模仿学习
从人类演示数据中学习策略的方法,本文用传感器化真人演示训练移动操作策略以绕开本体差异问题。
模糊
图像处理中通过卷积或滤波降低图像细节和噪声的技术,常用于视觉效果和隐私保护。
污点传播
一种数据流分析技术,追踪不可信输入(污点源)在程序中传播到敏感操作(污点汇聚点)的路径,常用于检测注入类漏洞。
污点分析
一种程序分析技术,追踪不可信输入在程序中的传播路径,以判断其是否到达敏感操作,常用于安全漏洞检测。
污点追踪
跟踪不可信输入从入口(如 HTTP 请求)流向敏感操作(如数据库 sink)的数据流分析技术。
流匹配
一种生成式建模方法,通过学习从噪声到数据的连续流场来直接回归目标分布,常用于替代昂贵的迭代拟合过程。
滑动窗口 KV 推理
一种 KV 缓存压缩方法,只保留最近固定窗口内的键值对,用于降低长上下文推理的显存占用,但可能导致信息遗忘。
滑动窗口注意力 (Sliding-Window Attention, SWA)
一种注意力机制,每个token只关注其邻近窗口内的token,从而降低计算复杂度并支持长序列处理。
激活反演
从模型激活反推对应文本以解释内部表示的技术,通过缩放归一可缓解高频 token 偏置。
磁性特征鉴定法
一种通过读取陶器的磁性签名来判断其是否为古代文物的方法,由加州大学圣地亚哥分校斯克里普斯海洋研究所团队开发。
稀疏注意力
一种注意力机制,通过专用索引器仅选择一部分键参与注意力计算,从而降低长上下文下的计算复杂度。
符号回归
从数据中自动搜索并提取数学方程表达式的机器学习方法,Keplearn 是其工程化封装工具。
符号执行
通过符号化输入探索程序路径的确定性分析技术,可作为独立验证层的异质来源。
算子融合
将多个计算算子合并为一个以减少内存访问和计算开销的推理优化技术。
算法
解决特定问题的有限步骤计算过程,是计算机程序的核心逻辑抽象。
线性规划
在等式与不等式约束下优化线性目标函数的数学方法;被探讨用于权重空间的行为约束编程。
网格分区
在数值模拟中把计算网格切分到多个计算单元上的策略,直接影响并行 I/O 效率与整体扩展性。
自回归扩散
Autoregressive diffusion,一种结合自回归模型与扩散模型的生成方法,按序列逐步生成数据。文中探讨其是否可用于生成市场数据。
自蒸馏
一种训练技术,模型使用自己的预测作为软标签来训练自身,常用于持续学习。
自适应探索
一种让模型在训练或推理过程中动态调整探索策略的机制,本文中用于说明大语言模型借此发展出新的社会偏见。
视频超分(Video Super-Resolution)
利用 AI 模型提升视频分辨率的技术,文中指 Clipchamp 可将视频提升至 4K。
角色耦合 tokenization
将读、分配、路由拆分为不同 token 角色的 tokenization 方法,用于优化像素空间生成 Transformer 的 token 效率。
解析器组合子
一种通过组合小型解析函数来构建语法解析器的编程技术,便于实现增量解析与错误恢复。
计算图随机剪枝
对模型计算图进行随机剪枝以降低计算与显存开销的优化技术,在 DPO 训练中可实现约 1.4 倍加速。
调用图分析
通过构建函数间调用关系图来追踪跨文件、跨调用链的数据流与漏洞路径的静态分析技术。
贝叶斯滤波
一种用于物理系统状态估计的统计方法,通过测试时训练的 flow matching 实现高维状态估计。
轨迹感知的 SWE Agent 评估
将评估信号分解到探索轨迹上,定位失败发生在检索、规划还是补丁生成环节,而非仅关注 pass@k 指标。
逆运动学 (Inverse Kinematics)
在动画或机器人学中,根据末端执行器(如脚部)的目标位置反推关节角度的方法,常用于实现脚部锁定以避免滑动。
递归视频上下文学习
用递归的视频上下文替代纯文本记忆进行学习的方法,用于保留空间信息,但增加上下文长度和检索复杂度。
遗传算法
一种模拟自然选择和遗传机制的优化算法,通过选择、交叉和变异迭代进化种群以求解问题,如训练汽车自动泊车。
集成学习
一种机器学习方法,通过组合多个模型的预测结果来提升整体性能和泛化能力。
零阶优化
一种无需计算梯度的优化方法,绕开反向传播对显存和计算图的依赖,可用于偏好对齐等任务。
项目反应理论 (Item-Response Theory)
一种统计模型,用于分析测试中受试者能力与题目难度之间的关系,本文中用于重新计算AI时间范围。
高斯模糊
一种图像处理算法,利用高斯函数对像素进行加权平均,实现平滑模糊效果。