AI大模型到底是怎么＂思考＂的?

你肯定用过ChatGPT或者类似的AI工具吧？问它问题，它能对答如流。但你有没有想过——这玩意儿到底是怎么"想"出答案的？

别被那些高大上的名词吓住。说白了，大语言模型就是个超级能猜的词儿接龙高手。

它其实是在玩"猜下一个词"的游戏

想象一下，我给你一句话的前半截："今天天气真__"，你会填什么？大概率是"好"或者"不错"对吧？

大模型干的就是这事儿，只不过它见过的句子比你我一辈子读的还多。

拿GPT-3来说，这家伙在训练时啃掉了大概4500亿个词（包括汉字片段），脑子里装了1750亿个参数。啥概念呢？相当于把整个互联网的文本都嚼碎了咽下去，然后记住哪些词经常凑一块儿出现。

所以它并不是真的"懂"你在说什么。它只是知道，当你问"北京的首都是哪里"时，后面跟着"北京"这个词的，八成会出现"中国"这两个字。

听着挺蠢的？但架不住人家见得多啊。见得多了，连蒙带猜也能猜出个八九不离十。

那个叫Transformer的玩意儿，到底牛在哪？

2017年，Google那帮人发了篇论文，名字挺拽——《Attention Is All You Need》（注意力就是你需要的一切）。从此以后，AI圈变天了。

在这之前，处理文字的主流方法是RNN（循环神经网络）。但这玩意儿有个毛病：记性不好。你让它读一篇长文章，读到后面它就忘了前面说了啥。而且它只能一个字一个字地读，慢得要死。

Transformer就不一样了。它的核心绝招叫"自注意力机制"。

说人话就是：模型看一句话的时候，不是从左到右挨个瞅，而是一眼扫过去，同时注意到所有词之间的关系。

举个例子你就明白了：

"小明把球踢进了门，守门员没能扑住这个射门。"

当模型看到第二个"门"字时，它会立刻联想到前面的"踢""球""进"，于是明白这里的"门"指的是足球球门，不是你家的房门。

这种能力让模型能理解上下文，哪怕两个相关的词隔得老远，它也能把它们联系起来。

训练一个大模型，得花多少钱？

你可能会问：这么厉害的模型，是怎么练出来的？

简单说，分三步走。

第一步：海量阅读

就像你上学要先学语文数学一样，模型也得先打基础。它在互联网上各种文本里泡着，看书、看新闻、看论坛帖子，什么都看。

这一步最烧钱。据说训练GPT-3花了460多万美元，用了差不多1万块A100显卡，跑了好几个星期。就为了学会怎么说话。

第二步：学会听话

光会续写句子没用，你得教会它怎么回答问题、怎么写摘要、怎么按你的要求办事。

研究人员准备了一堆问答数据，告诉模型："别人这么问，你应该这么答。"这就好比给模型上了个培训班，教它怎么把学到的知识用起来。

斯坦福大学2022年做过实验，发现只要用很少的指令数据微调一下，模型的表现就能提升一大截。

第三步：学会做人

这一步最关键。你想啊，模型要是口无遮拦怎么办？要是胡说八道怎么办？

所以得有人类来给它打分：这个回答好不好？有没有冒犯人？是不是在瞎编？

通过这种方式，模型慢慢学会了什么叫"得体"。Anthropic公司在2022年搞了个叫Constitutional AI的东西，用规则来约束模型，减少对人力的依赖。

为什么大模型突然就"聪明"了？

有意思的现象来了：当模型大到一定程度，它会突然展现出一些小模型没有的能力。 researchers管这叫"涌现"。

比如：

• 你只给它看两三个例子，它就能学会一个新任务
• 遇到复杂问题，它会自己拆解步骤，一步步推导
• 甚至能写代码，而且写出来的还能跑

为啥会这样？打个比方，小孩学说话，刚开始只会模仿大人说的固定句子。但学到一定程度，突然就会自己组合词语，说出你没教过的话了。

谷歌DeepMind在2022年的研究发现，这种现象通常出现在参数量达到几百亿的时候。就像水到了100度会沸腾一样，是个临界点。

别神话它，它也有短板

虽然大模型很厉害，但它不是万能的。你得知道它的局限在哪。

第一，它会瞎编

因为本质上是靠概率猜词，所以有时候它会一本正经地胡说八道。它不知道什么是真的，只知道什么听起来像真的。

斯坦福大学2023年测过，就算是GPT-4，在某些专业领域也会有5%-10%的错误率。所以用它查资料，最好再核实一下。

第二，它的知识有时效性

模型的训练数据是有截止日期的。比如GPT-4的知识只更新到2023年4月。之后的事儿，它要么不知道，要么就是瞎猜。

第三，它不懂因果

模型擅长发现"什么东西经常一起出现"，但不擅长理解"为什么它们会一起出现"。所以遇到需要深度推理的问题，它就容易露怯。

第四，用起来挺贵

每次让模型回答一个问题，都要消耗不少算力。GPT-3级别的模型，调用一次成本大概在0.02到0.06美元之间。大规模部署的话，这笔账可不小。

接下来会往哪走？

大模型还在进化，有几个趋势挺明显的：

能看能听能说

现在的模型大多只能处理文字。但GPT-4V已经能看懂图片了。未来肯定会整合图像、音频、视频，让模型对世界的理解更全面。

从被动变主动

以前的模型是你问它答。现在有些框架（比如AutoGPT）在尝试让模型自己规划任务、调用工具、主动做事。这就有点像从"问答机"变成"小助手"了。

越做越小，越做越专

不是所有人都用得起GPT-4那么大的模型。Meta开源的Llama系列就展示了另一种可能：用更小的模型，针对特定领域优化，效果也不错，还便宜。

最后说两句

大语言模型确实是个里程碑，但它不是终点。

它证明了靠统计学习这条路能走多远，但也暴露了纯概率方法的天花板。理解它的原理，不是为了把它供起来，而是为了更清醒地使用它。

知道它是怎么工作的，你才能判断什么时候该信它，什么时候该怀疑它，什么时候需要自己再查证一下。

技术这东西，从来都不是为了取代人，而是为了让人站得更高，看得更远。大模型的意义大概也就在这儿——让我们能把精力花在真正重要的问题上，而不是重复劳动上。

注：本文基于公开技术资料整理，尽量用大白话解释大语言模型的基本原理。想看更专业的内容，可以去读原始论文。