知识代码AI 7天前 · 2026-11-03 09:24:33 · 4 阅读
MetaAI大模型LLaMA——从LLaMA1到LLaMA3的开源里程碑
Meta AI 大模型 LLaMA——从LLaMA1到LLaMA3的开源里程碑
在ChatGPT掀起大模型浪潮后，Meta AI的LLaMA系列模型横空出世，成为开源大模型世界中最重要的基石。从LLaMA1的"少即是多"到LLaMA2的"安全对齐"，再到LLaMA3的"全面爆发"，LLaMA家族走出一条独特的开源之路。今天我们就来完整拆解LLaMA这三代模型的技术演进！
一、LLaMA1：用"小模型"碾压大模型（Meta FAIR, 2023.02）
LLaMA1（Large Language Model Meta AI）系列包含 7B、13B、33B、65B 四个参数规模的模型，其核心理念是：仅使用公开可用数据集，即可训练出达到最先进水平的模型。[pdf_11]
与GPT-3对比的惊艳表现
| 对比维度 | LLaMA-13B | GPT-3（175B） |
|---|---|---|
| 参数量 | 13B | 175B |
| 参数量比 | GPT-3的1/10 | 基准 |
| 基准表现 | 在大多数基准上超越GPT-3 | 落后 |
| 部署需求 | 单块GPU即可运行 | 多卡集群 |
LLaMA-65B 与当时最佳模型（Chinchilla-70B和PaLM-540B）具有竞争力。[pdf_11]
训练数据构成与配比
LLaMA1在万亿级Token的公开数据集上预训练，全部数据均可从公开渠道获取：[pdf_11]
| 数据集 | 采样比例 | 训练轮数 | 磁盘大小 | 处理方式 |
|---|---|---|---|---|
| CommonCrawl | 67.0% | 1.10 | 3.3TB | CCNet管道处理，行级去重，fastText语言识别，n-gram低质量过滤 |
| C4 | 15.0% | 1.06 | 783GB | 标点存在、单词和句子数量等启发式规则过滤 |
| Github | 4.5% | 0.64 | 328GB | 仅Apache/BSD/MIT许可，行长度和字母数字比例过滤 |
| Wikipedia | 4.5% | 2.45 | 83GB | 20种语言，移除超链接和注释 |
| Books | 4.5% | 2.23 | 85GB | Gutenberg + Books3，书籍级去重 |
| ArXiv | 2.5% | 1.06 | 92GB | 移除第一节前内容和参考文献，内联展开宏 |
| StackExchange | 2.0% | 1.03 | 78GB | 保留28个最大网站，按得分排序 |
关键发现： 对7B模型而言，性能在1T tokens后仍持续提升，这与Hoffmann等人（2022）推荐的"10B模型仅在200B tokens上训练"的观点不同，说明更大规模的训练数据对较小模型同样有效。[pdf_11]
二、LLaMA1模型架构核心特性
LLaMA1基于Transformer架构，融合了多项后续改进，与原始Transformer相比有四大核心区别：[pdf_11]
| 特性 | LLaMA1实现 | 说明 |
|---|---|---|
| 归一化 | Pre RMSNorm | 预归一化，公式：x̄ᵢ = aᵢ / RMS(x) · gᵢ，其中 RMS(x) = √(1/n · Σxᵢ²) |
| 激活函数 | SwiGLU | SwiGLU(x, W, V, b, c, β) = Swish_β(xW + b) ⊗ (xV + c) |
| 位置编码 | RoPE（旋转位置嵌入） | 移除绝对位置嵌入，改为在每层添加旋转位置嵌入 |
| 注意力 | Self-Attention（因果解码器） | Multi-Head Attention / Masked Multi-Head Attention |
多模型架构配置对比
| 模型 | 参数量 | 维度 | 头数 | 层数 | 学习率 | 批量大小 | Tokens |
|---|---|---|---|---|---|---|---|
| LLaMA-7B | 6.7B | 4096 | 32 | 32 | 3.0e-4 | 4M | 1.0T |
| LLaMA-13B | 13.0B | 5120 | 40 | 40 | 3.0e-4 | 4M | 1.0T |
| LLaMA-33B | 32.5B | 6656 | 52 | 60 | 1.5e-4 | 4M | 1.4T |
| LLaMA-65B | 65.2B | 8192 | 64 | 80 | 1.5e-4 | 4M | 1.4T |
大模型架构横向对比
| 模型 | 类别 | 规模 | 归一化 | 位置编码 | 激活函数 | 层数 | 维度 |
|---|---|---|---|---|---|---|---|
| GPT-3 | Causal Decoder | 175B | Pre LayerNorm | Learned PE | GeLU | 96 | 12288 |
| PaLM | Causal Decoder | 540B | Pre LayerNorm | RoPE | SwiGLU | 118 | 18432 |
| LLaMA | Causal Decoder | 65B | Pre RMSNorm | RoPE | SwiGLU | 80 | 8192 |
| Chinchilla | Causal Decoder | 70B | Pre RMSNorm | Relative | — | 80 | 8192 |
| BLOOM | Causal Decoder | 176B | Pre LayerNorm | ALiBi | GeLU | 112 | 14336 |
| GLM-130B | Prefix Decoder | 130B | Post DeepNorm | RoPE | GeGLU | 96 | 12288 |
有趣发现： LLaMA-65B架构参数与Chinchilla-70B几乎相同（维度、头数、层数完全一致），说明模型架构设计存在一定的收敛趋势。[pdf_11]
三、LLaMA1衍生开源模型生态
LLaMA1发布后，开源社区基于其模型权重产生了一个庞大而繁荣的衍生模型生态：[pdf_11]
LLaMA生态全景图
┌── Alpaca（斯坦福，52K自指令数据，$600）
│── Vicuna（伯克利等，70K共享对话，ChatGPT 90%）
│── Guanaco（QLoRA，ChatGPT 99.3%，单卡24h）
LLaMA 7B/13B/33B/65B ──┼── Koala（伯克利，对话+任务数据）
│── 中文系列：Open-Chinese-LLaMA、Linly、Yulan-Chat
│── 垂直领域：Lawyer（法律）、BenTsao（医疗）
│── 多模态：LLaVA、MiniGPT-4、OpenFlamingo
└── 增强版：BELLE、Baize、Panda、Goat...
三大明星衍生模型
| 模型 | 来源 | 训练数据 | 核心亮点 | 训练成本 |
|---|---|---|---|---|
| Alpaca 7B | 斯坦福大学 | 52K自指令数据（从text-davinci-003生成） | 仅$600复现GPT-3.5级能力 | 500（数据）+ 100（训练） |
| Vicuna 13B | 伯克利/CMU/斯坦福等 | 70K用户共享对话（ShareGPT） | 序列长度2048，ChatGPT90%质量 | $300（训练） |
| Guanaco | 华盛顿大学（QLoRA论文） | 高质量指令数据 | ChatGPT 99.3%性能，单卡24h | 最低硬件需求 |
Alpaca Format指令微调格式：
Below is an instruction that describes a task, paired with an input that provides further context.
### Instruction:
{instruction}
### Input:
{input}
### Response:
```[pdf_5]
### 中文LLaMA生态
| 模型 | 说明 |
|:----:|:------|
| **Open-Chinese-LLaMA** | 在LLaMA上增量预训练中文数据 |
| **Linly-Chinese-LLaMA** | 中文指令微调版本 |
| **Yulan-Chat** | RLHF对齐 |
| **BELLE** | 基于LLaMA的中文开源模型 |
| **BiLLa** | 双语LLaMA |[pdf_5]
---
## 四、LLaMA2：开源大模型的新标杆（Meta AI, 2023.07）
2023年7月，Meta发布了LLaMA2，包含 **7B、13B、70B** 三个规模，并提供基座模型和Chat微调版本。[pdf_11]
### LLaMA1 vs LLaMA2: 关键升级对比
| 对比维度 | LLaMA1 | LLaMA2 |
|:--------:|:------:|:-------:|
| 模型规模 | 7B/13B/33B/65B | **7B/13B/70B**（用70B替换65B和33B） |
| 上下文长度 | 2K（2048 tokens） | **4K（4096 tokens）** |
| 训练数据量 | 1.0T~1.4T tokens | **2万亿（2.0T）tokens** |
| 注意力机制 | Multi-Head Attention | **GQA（分组查询注意力）** |
| 微调版本 | 仅基座模型 | **基座 + Chat（RLHF对齐）** |
| 许可证 | 仅研究用途 | **允许商业使用** |
**GQA（Grouped Query Attention）**：通过让多个查询头共享一个键值头，显著降低推理时的KV缓存内存开销，是提升推理效率的关键改进。**LLaMA2-70B中已使用GQA**。[pdf_11]
### 训练过程
LLaMA2基座模型在**2万亿tokens**上预训练后，使用**100万人类标记数据**进行RLHF训练得到LLaMA2-Chat模型。[pdf_11]
**LLaMA2 RLHF架构：**
HUMAN FEEDBACK → Safety Reward Model ──→ Rejection Sampling → Helpful Reward Model ──→ Proximal Policy Optimization ↓ Llama-2-chat（对齐模型）
LLaMA2同时训练**Safety（安全）**和**Helpful（有用）**两个奖励模型，而不是像ChatGPT那样在生成结果后再训练Moderation模型进行事后过滤。这使得LLaMA2在安全性和有用性上实现了更好的平衡。[pdf_11]
### 安全性对比
在人类评估中，LLaMA2-chat各规模模型在安全性上均优于MPT、Vicuna、Falcon、PaLM Bison等模型，并接近ChatGPT水平。[pdf_11]
---
## 五、LLaMA3：开源大模型全面爆发（Meta AI, 2024）
2024年4月，Meta发布了LLaMA3系列，包含 **8B和70B** 两个版本（并预告了400B+版本），将开源大模型的性能推向新的高度。
### LLaMA3 发布版本
| 模型 | 参数量 | 上下文 | GQA | 训练数据 |
|:----:|:------:|:------:|:---:|:---------|
| **LLaMA 3 8B** | 8B | **8K** | ✓ | **15T+ tokens** |
| **LLaMA 3 70B** | 70B | **8K** | ✓ | **15T+ tokens** |
| **LLaMA 3 400B+** | 400B+ | — | ✓ | —（仍在训练中） |
### LLaMA三代训练数据量与上下文长度演进
训练数据量：1.0T → 2.0T → 15T+ 上下文长度：2K → 4K → 8K
**核心升级：**
- **训练数据量**从LLaMA1的1.4T tokens → LLaMA2的2T tokens → LLaMA3的**15T+ tokens**，数据量呈现**10倍级的跃升**
- **上下文长度**从2K → 4K → **8K**，并支持更长窗口
- **分词器**：LLaMA3采用更高效的分词器，词汇量从32K扩展至**128K**，大幅提升编码效率
- **全系列标配GQA**：即使是8B版本也使用了分组查询注意力机制
---
## 六、LLaMA在HuggingFace上的搜索热度
截至2023年底，HuggingFace上"alpaca"相关模型超过**2,154个**，"vicuna"相关模型超过**1,071个**，展现了LLaMA衍生模型的强大生命力。[pdf_11]
---
## 七、SFT vs RLHF：LLaMA的成功组合
**Supervised Fine-Tuning（SFT）**：在标注数据上最小化预测与标签差异，训练稳定、收敛快，适用于输出相对明确的任务。[pdf_5]
**RLHF（基于人类反馈的强化学习）**：通过人类反馈学习，更灵活，能处理开放性问题，优化输出符合人类偏好。[pdf_5]
**LLaMA2-Chat的关键实践：** ChatGPT和LLaMA2-chat等模型**结合了SFT和RLHF两者的优势**，以充分利用监督学习的明确性和强化学习的灵活性。[pdf_5]
---
## 总结
1. **LLaMA1开创了"小模型大能力"先河**：13B超越GPT-3 175B，65B媲美PaLM-540B，全部使用公开数据
2. **LLaMA2是开源大模型的标杆**：2T tokens训练，4096上下文，GQA注意力，RLHF安全对齐，允许商业使用
3. **LLaMA系列衍生生态奠定开源基础**：Alpaca（$600）、Vicuna（ChatGPT 90%）、Guanaco（ChatGPT 99.3%）等模型极大推动了开源社区的繁荣发展
4. **LLaMA三代演进路径清晰**：数据量1T→2T→15T+，上下文2K→4K→8K，结构从MHA→GQA，开源许可从研究→商用
5. **LLaMA每一个模型架构都有其特定意义**：LLaMA1验证了公开数据+SwiGLU+RMSNorm+RoPE的有效性，LLaMA2加入了GQA和RLHF安全对齐，LLaMA3则以15T+ tokens和128K分词器将开源模型推上新高度
---
> **温馨提示**：获取LLaMA2模型权重需通过Meta官方授权，访问 [llama.meta.com](https://llama.meta.com) 申请，或通过GitHub上facebookresearch/llama仓库的download.sh脚本下载。
---
*本文内容整理自《AI大模型微调实战营》第十二节课程，由彭靖田老师（Google Developer Expert）主讲。*原始来源： 知识代码AI 微信临时链接，可能已过期