AI 大模型学习
从向量到 Transformer

什么是向量

计算机只认识数字，它怎么知道「猫」和「老虎」比「猫」和「金鱼」更像？

向量的常见运算

「相似」可以被计算吗？——加法、点积、余弦相似度

什么是矩阵

神经网络每一层把一组数字变成另一组数字——这个变换用什么来表示？

什么是线性变换

矩阵乘法到底在做什么？——把整个空间一起旋转、拉伸、搬动

什么是梯度

蒙着眼睛站在山坡上，怎么走到山谷最低点？

概率与信息

神经网络的输出为什么叫「概率」？——从频率到交叉熵损失

神经元结构

一个只会「加权投票」的小开关，凭什么是智能的起点？

激活函数

为什么一百层直线叠起来还是直线？——给网络引入「弯折」

神经网络与训练

神经元叠成一张网，再让它自己「学」——「训练」到底在做什么？

损失函数

「错得有多离谱」怎么变成一个可以比较的数？

Softmax

一组任意大小的分数，怎么变成一组加起来等于 1 的概率？

梯度下降与优化器

知道了往哪边走是下坡，一步该迈多大？

反向传播

输出层错了，第一层的某个权重该负多大责任？

语言的概率游戏：N-gram

不懂语法、不懂语义，光靠「数数」能不能接出下一个词？

词向量

为什么「国王 − 男人 + 女人 ≈ 女王」？词的含义如何变成坐标？

前馈神经网络语言模型

N-gram 的稀疏灾难是怎么被绕开的？

RNN 循环神经网络

固定窗口看不到更早的词——能不能给网络装上「记忆」？

LSTM 长短期记忆网络

RNN 的记忆为什么传不远？——给记忆装上「阀门」

注意力机制

「它太累了」——「它」指谁？让每个词自己决定该看向哪里

多头注意力

一句话里既有指代、又有语法、又有情感——一个「头」忙得过来吗？

Transformer 架构

把注意力、FFN、残差拼在一起——2017 年那篇论文到底做了什么？

Tokenizer 分词器

模型眼里的「字」是什么？为什么 strawberry 数不对 r 的个数？

编码器、解码器与大语言模型

同样是 Transformer，BERT 为什么不能生成文章，GPT 为什么是主流？

残差连接与层归一化

96 层 Transformer——梯度怎么从第 96 层传回第 1 层而不消失？

预训练 · 监督微调 · 强化学习

「会接话」和「会帮忙」之间有一道鸿沟——ChatGPT 的三个训练阶段

KV 缓存、稀疏注意力与 FlashAttention

注意力的账单是 O(n²)——处理一本书，工程师用什么手段把它变快？

MoE 混合专家架构

GPT-4 据说有 1.8 万亿参数——推理每次却只用其中一小部分，怎么做到的？

模型蒸馏

大模型的能力能「传授」给小模型吗——软标签里藏着什么「暗知识」？

串讲：从 N-gram 到 Transformer

学了这么多细节，怎么把它们重新串成一条线？——每一代技术，都是来解上一代死结的

前沿与未来：下一程

ChatGPT 之后呢？——当下最活跃的研究方向，与大模型可能的演变

Transformer全景图

《Attention Is All You Need》原文

按论文原文顺序逐段翻译，从摘要、架构、公式、实验表格到参考文献，完整读完 Transformer 的起点