图表目录
图表 1:NLP 技术发展的主要阶段 ........................................................................................................................ 6
图表 2:人类视觉的注意力机制 ........................................................................................................................... 7
图表 3:RNN 主要用于序列数据处理 ................................................................................................................... 8
图表 4:RNN 的基本结构 ....................................................................................................................................... 9
图表 5:LTSM 的基本结构 .................................................................................................................................... 10
图表 6:CNN 的基本结构 ..................................................................................................................................... 11
图表 7:Attention 的基本结构 ............................................................................................................................. 12
图表 8:计算机视觉中的感受野 ......................................................................................................................... 12
图表 9:Attention 用于表示词与词的相关程度 ................................................................................................. 13
图表 10:Self-Attention 的计算过程 .................................................................................................................... 15
图表 11:语言理解与生成的基本原理 ............................................................................................................... 16
图表 12:Transformer 由编码器和解码器两部分构成 ....................................................................................... 16
图表 13:Transformer 的基本结构 ....................................................................................................................... 17
图表 14:Masked Self-attention 机制 ................................................................................................................... 18
图表 15:不带 Masked 的 Self-attention 机制 ..................................................................................................... 18
图表 16:GPT 模型的语言生成模式 .................................................................................................................... 19
图表 17:Transformer 是大语言模型的基石 ....................................................................................................... 20
图表 18:针对不同下游任务进行训练 ............................................................................................................... 21
图表 19:GPT-2 舍弃了模型微调部分 ................................................................................................................. 22
图表 20:GPT-3 的 In-context 方式与传统微调方式的对比 ............................................................................... 23
图表 21:训练不同模型所需要的算力对比 ....................................................................................................... 24
图表 22:GPT-3 在 Few-shot 上有很好的表现 .................................................................................................... 24
图表 23:从 GPT-3 到 ChatGPT 的迭代路径 ........................................................................................................ 25
图表 24:ChatGPT 在文本生成方面展现出了强大的能力 ................................................................................. 26
图表 25:强化学习的基本原理 ........................................................................................................................... 27
图表 26:ChatGPT 的训练过程 ............................................................................................................................ 28
图表 27:ChatGPT 人工标注团队 ........................................................................................................................ 29
图表 28:GPT-4 模型性能要显著优于 GPT-3.5.................................................................................................... 30
图表 29:GPT 模型演进的 5 个阶段 .................................................................................................................... 30
图表 30:海外大语言模型整体情况 ................................................................................................................... 32
图表 31:国内大模型现状 ................................................................................................................................... 33
图表 32:生成算法、大模型、多模态是 AIGC 的底层技术 .............................................................................. 34
图表 33:AIGC 的应用场景 .................................................................................................................................. 35
图表 34:GPT-4 嵌入 Offcie .................................................................................................................................. 36
图表 35:百度文心大模型全景图 ....................................................................................................................... 37