Appearance
LLM:那颗大脑
一个智能体能思考、能判断、能组织语言,这一切的起点,是一颗"大脑"——大语言模型(Large Language Model,LLM)。这一篇不谈任何实现,只回答一个问题:它凭什么就"会"了?
把这个问题想明白,后面很多现象(它为什么会胡说、为什么需要 RAG、为什么记不住)就都能解释得通。
它其实是个"往下猜词"的机器
很多介绍把大模型讲得玄乎,其实它做的核心动作非常简单,就一句话:
给它前面的一段文字,它预测下一个最该出现的词。
比如给它"今天天气很",它会觉得后面最该接"好";给它"1 + 1 =",它觉得后面最该是"2"。它一个一个地把字"猜"出来,连起来就成了一段话。
听起来是不是有点失望?这么点本事,怎么会是今天的主角?
这正是它最反直觉、也最深刻的地方:复杂到令人惊叹的智能,居然是从一个极其简单的规则里长出来的。
"聪明"是怎么长出来的
关键在于:它不是只预测一两个词就完事,而是在整个的训练过程中,被要求对着海量的、人类写下的真实文字,一遍又一遍地预测下一个词。
想象一下这样的过程:
- 它读一段新闻,把"记者在进行____",然后被要求填出后面的词;
- 它读一段代码,把"if condition____",然后被要求填出后面的分支;
- 它读一段"因为……所以……",把"所以"后面填出来;
- 它读到"从前有座山,山里有座____",把"庙"填出来。
看似都是在玩"填空"。但这里的奥妙在于:真相不是"它背下了正确答案",而是它被迫去理解文字之间的规律。
为了在下一次预测中押得更准,它必须学会:什么样的词在什么上下文里更合理、一句话的逻辑怎么顺着走、一个概念通常和哪些东西一起出现、中文和英文的差别、代码的语法结构……它把所读到的几乎整个互联网的文字(几万亿个词),全部消化成了"字词之间如何关联"的无数条规律,压缩进自己身上。
于是,当你要它回答一个问题时,它并不是"去数据库里抠一条答案",而是根据它学到的全部规律,现场推演出一个最合理的回答。
这就是为什么它显得"聪明"——不是背得凶,而是真的在"理解"文字之间的关系。
"理解"为什么带引号
之所以说"它理解",其实要说更准确些。它并没有像人那样有一个意识、一个立场、一个"我"。它有的只是计算:把输入一步步变换,最终算出一个"这里最该出现哪个词"的概率分布。
所以它的"懂",是一种统计意义上的懂——它掌握了语言的规律,但不掌握"对错事实"。
这带来一个很关键、也很出名的副作用:它会一本正经地胡说八道,我们叫它"幻觉"(hallucination)。
当一个问题它没有学过的可靠规律可循时,它不会老实说"不知道",而会顺着最像样的方式把话圆下去。它没有"核实事实"的能力,因为这压根不在它"猜下一个词"的本能里。这个特性,决定了为什么后面非要有 RAG 和工具不可——那颗大脑自己,是没有"事实"和"外部世界"的概念的。
它有的一些"主见"(可调参数)
这颗大脑还有个特性:它回答问题的"个性",是可以被外部旋钮调节的。这里面平常最常碰到的一个,叫温度。
它的逻辑并不神秘:前面说了,它是按"概率"来选词的。如果某个词的胜算远大过其他词,它就几乎总是选它——那回答就稳定、保守、来来回回一句话。如果允许"偶尔选一个胜算低一点但更出格的词",那回答就更多变、更具创造性,但也更容易跑偏。
于是就有了两种用法:
- 想要准、稳、严谨(比如算数据、写代码、整理事实)——把温度调低;
- 想要发散、有创意、胆子大(比如起名、写文案、头脑风暴)——把温度调高。
这不只是工程师的细节,而是理解"为什么同一个模型,有时靠谱有时天马行空"的一把钥匙。
它最疼的一个"软肋":记不住
这颗大脑还有一个天生的局限,也是整个实现篇都要绕着一件事转的:它几乎没有"记忆"。
严格说,它只能"看到"你这一轮塞给它的那些字;上一轮的对话,如果不被想办法塞回来,对它来说就等于不存在。你没法"把话记在它脑子里",因为它不是一个会留存的存储,而是一个看完就算、用完就忘的瞬时计算器。
这也正是为什么一个"能陪你聊天、记得你叫什么"的智能体,背后其实还多了一个记忆系统在帮忙——这件事,留到记忆机制那一篇详细讲。
那模型和"大脑"的关系是
你可能已经察觉到:LLM = 大脑,但它不等于智能体。
- 大脑负责想,但想不通的时候,它不会自己去查书;
- 大脑只说话,但说完了它不会去动手;
- 大脑没记性,聊完就忘;
- 大脑没有事实感,分不清对错。
一个只有光秃秃大脑的东西,仍然只是个聊天机器人。真正的智能体,是在这颗大脑之外,给它配上知识、手脚、记性、套路,再交给人把方向——然后,它才从"能说"变成"能做事"。
这正是下面几篇的脉络。
这一篇的要点,用一句话收束:
LLM 是一台"不断预测下一个词"的机器,它通过消化海量文字,学会了文字之间的规律,所以能"现场推演"出合理的话。但它没有事实感、没有记忆、只会动嘴,于是需要被装进一个更大的系统里,才能成为真正干活的智能体。
接着,我们去补它的第一个短板——知识:RAG:知识的补充。