从Prompt Cache看我们为什么总在重复学习

Sun, 23 Aug 2026 20:00:00 +0800

引言：人类是不是一直缺少一种“缓存”？

大模型里有两个挺有意思的概念：Prompt Cache和KV Cache。

它们处理的是同一件很朴素的事：已经计算过的内容，为什么还要再算一遍？

如果几个请求有相同的Prompt前缀，模型没必要每次都从头跑一遍；如果模型已经读过前面的上下文，生成后续Token时，也没必要反复重新计算之前所有Token的状态。所以有了Cache。

把这个想法挪到人类身上，会冒出一个不太舒服的问题：人类文明积累了几千年，真正能跨大脑直接复用的“缓存”其实很少。

每个人出生后都带着一颗新的大脑。数学、物理、医学、工程、商业这些领域，前人都已经走过很长的路；后来的人还是得花十几年甚至更久，在自己的脑中慢慢搭起一套相近的认识。

我们当然不是从零开始。语言、文字、教育都在帮忙。但和直接把一个训练好的状态装进新系统相比，人的学习仍然很慢。大量重复学习，就是这么来的。

0.从大模型理解“重复计算”

假设有两个彼此独立的请求，甚至来自不同会话，却都带着同一段10万Token的资料作为开头。第一个请求已经处理过这段资料；第二个请求再来时，最笨的做法是重新处理一遍。

这正是Prompt Cache要解决的问题：相同的输入前缀，可以复用先前的计算结果。

KV Cache则发生在同一次生成中。模型按A→B→C→D→E的顺序处理内容，准备生成E时，不需要再从A开始完整跑一次；前面Token形成的中间状态已经留在缓存里，可以接着用。

Cache关心的其实是：过去已经完成的计算，能不能成为下一次计算的起点？

用它来观察学习，不一定严格，却很有启发性。很多人学得慢，不是因为从没见过答案，而是因为答案还没有变成自己能调用的内部状态。

1.每个人出生，都像启动了一个新的模型实例

把人的大脑粗略比作一个神经网络。新生儿就像一个刚启动的模型实例。

这不是说人完全随机初始化。几百万年的进化通过基因留下了不少先验：视觉、听觉、语言学习倾向、运动控制、情绪反应和社会认知，都不是从一张白纸开始。

更接近的说法是：基因给了基本架构和一部分先验，后来的生活经历完成了大规模训练。

难处在于，一个人后天形成的认知结构，很难直接复制给另一个人。

一个数学家花20年形成的数学直觉，可以写成书，也可以讲给学生听。但学生拿到的不是：

load(mathematician_brain_state)

更像是：

read(mathematician_outputs)

然后自己再：

train(my_own_brain)

两者差别很大。前者是加载结果，后者只是拿到材料后重新训练。

2.书籍传递的是Output，而不是Brain State

牛顿可以把知识写进书里，后人不必再重新发现经典力学。这已经是文明很大的进步。但牛顿脑中拥有的，显然不只是一页页写下来的句子。

那里还有很多没被完整写出来的东西：他为什么先想到那个方向；哪些思路试过又放弃；不同数学结构之间有哪些隐约的联系；遇到一个新问题时该从哪里下手；哪些异常值得盯住，哪些噪声可以先忽略。

一本书很难把这些都带走。

书保存的是一个大脑产出的部分Output，不是它全部的内部状态。这也解释了为什么“知道结论”和“真正理解一个领域”之间常常隔着很远的距离。前者可以读到，后者通常得靠反复使用、出错和修正才会长出来。

3.真正昂贵的是“认知结构”

一个资深程序员看复杂的分布式系统设计，可能几分钟就会说：“这里以后大概率要出问题。”

新人自然会问：“为什么？”

资深工程师未必能立刻给出一条完整规则。这个判断往往不是来自某本书的某一页，而是过去十几年里见过的代码、架构选择、线上故障、失败方案和代码审查，慢慢压缩成了一种判断习惯。

他可能只说：“这里可能有静态条件。”这句话是Output。让他得出这个判断的认知结构，却没有随着这句话一起交给新人。

新人仍得写代码、看日志、参与排障，慢慢理解哪些边界最容易出问题。所谓“工程直觉”，很可能就是大量经验在大脑里留下的一种压缩表示。它不神秘，但也不容易口耳相传。

4.人类文明其实一直在发明“弱版本Cache”

从这个角度看，文明史里的很多发明都在做同一件事：减少不同大脑之间的重复计算。

语言是第一层。有人在远处发现猛兽，不必让每个人都亲自去试一次。他说出来，经验就能跨个体传播。

文字把这件事往前推了一步。口头经验容易消失，文字让知识能跨时间保存。两千年前去世的人，仍然能把自己的一部分思考交给今天的读者。

后来的书籍、图书馆、大学、论文、百科全书、互联网和搜索引擎，形式不同，作用相近：尽量让后人少走已经走过的弯路。

它们不是完整的Cache，更像一层层越来越好用的外部记忆。我们不能直接加载别人的大脑，却能拿到越来越多的线索、结果和方法。

5.教育，本质上是一种“知识蒸馏”

教育还做了另一件事：我们不必让每个人都重新经历人类发现知识的全过程。

一个数学定理背后，可能是几十年的摸索、许多失败和几代人的修补。进了教材之后，常常只剩定义、定理、证明和习题。学生用几天或几周，就能接触前人花了很久才整理出来的成果。

这和机器学习里的知识蒸馏有点像。昂贵的探索过程被压缩成教材、课程、定理、方法、案例和标准答案。下一代不用重新搜索所有可能性。

教育已经替我们省掉了很多重复劳动，但它仍有一个绕不过去的限制：知识能复制，认知状态不能直接复制。

6.人类真正缺少的，不是KV Cache，而是Checkpoint

如果严格借用大模型的比喻，更值得看的或许不是KV Cache，而是Model Checkpoint。

一个模型训练了六个月，第二台服务器不需要再训练六个月。它直接加载checkpoint，很快就能拥有已经训练出的能力。人做不到这一点。

一名经验丰富的医生，我们无法把他的“大脑checkpoint”加载进一位18岁的年轻医生。年轻医生还是要上课、实习、看病人、犯错、被纠正。很多技能只能在真实情境里形成。

所以才会出现一个很直观的事实：每一代人都要在生命早期花大量时间，重新搭建前人已经搭建过的认知结构。这里面有必要的成长，也有大量低效的重复。这可能是文明中规模最大的重复计算之一。

7.真正的瓶颈，可能是“大脑写入带宽”

互联网之后，信息本身已经越来越容易获得。很多知识能被瞬间找到，搜索引擎把检索成本降得很低，大模型又能解释、总结、举例、翻译和对比。

可最后仍有一道很硬的限制：一个人大脑一天能真正学进去多少？

把全世界知识都免费摆在眼前，也不会让人一年后同时成为顶级数学家、物理学家、医生、律师和程序员。

这个说法是比喻，但指向很明确：材料的传输速度快，大脑形成稳定能力的速度慢。读过、听过、收藏过，并不等于学会过。

8.AI可能提供另一条路线：不把Cache写进人脑

既然我们不能直接复制一个人的大脑状态，还有另一种办法：把一部分认知能力留在人脑之外。

过去常见的路径是：知识进入人脑，人通过学习形成能力，再独自解决问题。

AI出现后，路径开始多了一种可能：人类知识被AI学习，AI形成某些可调用的能力，人再把它用于眼前的问题。

一些过去必须自己完整掌握的细节，开始可以通过外部系统调用，相当于绕过了一部分“大脑写入带宽”的限制。

思考 on 端阳的主页