文章收录机器学习、深度学习、大语言模型及推荐算法中的常见英文术语,集中说明英文名称、中文含义、国际音标和常用缩写读法。发音以美式英语为主;模型名称的口头读法可能因研究团队而异。
-
Sparse Attention 与 MoE 的原理及比较
Transformer 的 Attention(注意力机制)负责在不同 Token 之间交换信息;FFN(前馈神经网络)负责进一步变换每个 Token 的表示。Sparse Attention(稀疏注意力)与 MoE(Mixture of Experts,混合专家模型)分别改变这两部分的计算方式。本文结合矩阵、数值例子和交互演示,解释它们的数学原理、计算成本、实现限制以及在长序列和推荐系统中的作用。[1]
-
基于RecFlow数据的WHALE模型复现
项目仓库:whale-recflow。
推荐模型需要同时利用当前曝光的属性与用户过去的行为。WHALE 将 Wukong 的特征交互和 HSTU 的序列建模结合起来,通过逐层 Attention Fusion(注意力融合)更新目标表示。本文介绍在 RecFlow 真实曝光数据上的模型复现与实验分析。
-
movielens-recsys:从 YouTube DNN 召回到 DCNv2 排序
项目仓库:movielens-recsys。
电影推荐需要依次解决候选覆盖、相关性排序和列表组合三个问题。本文以 MovieLens-1M 为数据基础,介绍一个由 YoutubeDNN、四路召回、DCNv2 和滑动窗口重排组成的推荐系统。
文章从评分数据与样本构造开始,沿模型训练、候选生成和完整推荐请求展开。关键计算结合具体用户、电影和保存参数说明,最后使用同一批候选比较各阶段的离线指标。示例中的数据范围与符号见附录 A。
-
神经网络中的门控机制
从记忆更新、特征选择和专家路由,理解乘性调制及其在 HSTU 中的应用
先想象一个音乐推荐场景。
一个用户平时听爵士、古典、金属、播客、环境音,也听一些华语流行。现在系统要判断:要不要把一张冷爵士专辑推给他?如果模型把所有历史偏好都等权地送进打分层,那么他过去对金属和播客的强偏好也会一起涌进来,和当前的爵士候选混在一起。历史越丰富,这种干扰越明显。
-
RankMixer 详解:特征分组、完整计算与 Sparse MoE
本文依据 RankMixer 论文的 arXiv:2507.15551v3 版本,讲解模型结构与计算过程[1]。
1 推荐排序中的特征交互
用户打开推荐页面时,排序模型需要判断每个候选内容是否值得展示。输入通常包括用户 ID、内容 ID、用户资料、历史行为和当前场景。模型据此预测完成观看、快速划走或点赞等行为。
-
爱高大学
荒原上没有一点生机
没有草,没有树,没有叶片上落满灰尘的野花。
目光所及,全是灰黄色的石头和碎裂的砖块,好像火星表面和城市废墟的结合体。