同样是大模型，为什么用起来差这么多？

一张看不懂的名单，和一个被外界彻底忽略的行业Chris Barber 在 X 上做了一轮小范围投票，问题很简单：在 AI 数据和后训练这个领域，你见过的人里面，谁的见解最深刻？49 个人投了票，投票人自己不能投自己。结果是一张密密麻麻的头像墙，一百多号人。得票最高的是 Daniel Chang（@dnnssl2），5 票；并列 3 票的有 Abhijay Rana、Ryan Wexler、Sean Cai、Will Brown 四位。这张名单最有意思的地方，不是上面有谁，而是：绝大多数名字，中文世界完全没听说过。你打开任何一个中文 AI 媒体，看到的名字是奥特曼、黄仁勋、Demis、李飞飞、杨立昆。这些人确实重要。但如果你问一个真正在前沿实验室里把模型做出来的人——过去十八个月，模型能力的增量到底是谁贡献的——他给你的答案大概率不在那张公众名单上，而在这张密密麻麻的头像墙上。我先把结论放在前面，这是全文的骨架：先说结论预训练决定一个模型「知道什么」，后训练决定它「是谁」。

而今天，前者正在变成一件所有人都会做、成本可预期、差异迅速缩小的事；后者才是模型之间真正的分野，是前沿实验室愿意花最多钱、藏最多秘密、挖最多人的地方。整个 AI 数据行业——Mercor、Surge、Scale、Handshake 这几家合计拿走行业四分之三以上收入的公司——本质上是在服务这道工序。这篇文章我想讲清楚三件事：后训练到底在干什么，为什么它变成了胜负手，以及名单上的那些人各自在贡献什么。全程不用公式，我尽量讲到你不懂技术也能明白。

原石与刀工：后训练到底在干什么先讲一个最朴素的比喻。预训练，是把全互联网的文本倒进一个模型里，让它学会「下一个词最可能是什么」。这一步结束后，你得到的东西叫基座模型（base model）。很多人以为基座模型就是 ChatGPT 的雏形。不是。基座模型几乎没法用。你问它「法国的首都是哪里」，它可能回答「法国的首都是哪里？德国的首都是哪里？意大利的首都是哪里？」——因为在互联网语料里，一个问句后面最常跟着的，往往是另一个问句，比如一份试卷、一个 FAQ 列表。它学到的是文本的统计规律，不是「回答问题」这个行为。基座模型是一块原石。

里面什么都有——语法、常识、代码、诗歌、偏见、谣言、恶意，全在里面，混在一起，没有秩序。后训练（post-training），就是把这块原石变成一件可用之物的全部工序。它在今天大致分三段：第一段，监督微调（SFT）。给模型看几万到几十万条「好的示范」：一个问题，一个理想的回答。模型从中学会「原来被问到的时候，我应该这样答」。这一步定下的是行为模板——它教会模型扮演一个助手，而不是继续当一台文本续写机。第二段，从人类反馈中强化学习（RLHF）。

让模型对同一个问题生成几个不同回答，请人来排序：哪个更好？用这些排序训练出一个「打分器」（奖励模型），再让模型朝着打分器给高分的方向调整自己。这一步解决的是一个很根本的困难：很多事情人类一眼能判好坏，却写不出判定规则。什么叫「回答得体」？什么叫「解释得清楚」？什么叫「拒绝得礼貌但不说教」？你没法写成代码，但你一看就知道。RLHF 把这种说不清的判断，变成了可以优化的信号。第三段，从可验证奖励中强化学习（RLVR）。这是最近两年最大的变化，第四节我单独讲。通俗解读换个更生活的说法。预训练，是让一个人把全世界的图书馆读完。读完之后他知识渊博，但他不会说话——你问他路，他可能给你背一段百科全书。SFT，是教他「被人问路的时候要指路」。RLHF，是一万次纠正他的语气、分寸、详略，直到他像个靠谱的人。RLVR，是让他去做有标准答案的题，做对了给糖，做错了不给——让他自己把推理能力练出来。读书的那一步，决定他肚子里有什么。后面这三步，决定他是个什么样的人。讲到这儿，可以上一个人人都有体感的例子了：ChatGPT 本身。GPT-3 是 2020 年 6 月发布的。按参数量和基座能力，它在当时就是地表最强的语言模型之一。然后呢？它在开发者圈子里小火了一阵，外界基本无感，我妈不知道它的存在，你也不会在饭桌上听人提起。两年多后的 2022 年 11 月，OpenAI 发布了 ChatGPT。两个月，月活破亿，成为当时历史上用户增长最快的消费级应用。中间那两年，基座能力的提升远没有外界想象的那么大。真正把它从「一个很厉害的技术 demo」变成「所有人都在用的东西」的，是后训练。是 SFT 教会了它「被问就答」，是 RLHF 让它的回答变得得体、有分寸、像个人。

这件事还有一个更硬的数据版本。ChatGPT 的直接前身是 OpenAI 2022 年初的 InstructGPT 工作。那篇论文里有一个结论，今天看依然震撼：在人类评分员的偏好测试中，一个只有 13 亿参数、但做了后训练的 InstructGPT，输出质量被评得优于 1750 亿参数、没做后训练的 GPT-3。参数差了一百三十倍，被后训练一步抹平，还反超了。通俗解读如果你只从这篇文章里记住一个数字，就记这个：1.3B 打赢 175B。过去三年中文互联网关于 AI 的报道，九成以上的篇幅在讨论参数量、算力、芯片。而这个在 2022 年就公开的结果说的是：在「好不好用」这件事上，工艺比规模更能决定结果。后训练这道工序之所以在圈内被看得这么重，根子就在这儿。

基座在趋同，差别全在后训练为什么说后训练才是今天真正的胜负手？因为预训练这一侧的差异正在迅速收敛。架构是公开的，Transformer 那套东西全世界都在用。混合专家、长上下文、注意力优化，论文满天飞，开源社区几个月就追平。数据来源高度重叠，大家都爬同一片互联网。

算力是可以买的——贵，但可买，而且买到的是同一批芯片。这几件事加起来的结果是：今天任何一家有足够钱的机构，都能训出一个水平相当不错的基座模型。中国的几家、欧洲的几家、美国的一堆创业公司，基座能力的差距远小于外界想象。那为什么你用起来，不同模型的感觉差那么多？因为你用到的从来不是基座，是后训练之后的那个「人格」。一个模型是温和还是冷峻，是倾向于先问清楚还是直接动手，遇到不确定时是坦白说不知道还是硬编，面对道德灰区是讲原则还是打太极，写代码时是给你能跑的最短实现还是给你一套带测试的工程——这些全部是后训练塑造出来的，没有一条写在架构里。前沿实验室内部有一个专门的说法叫性格训练（character training），就是在做这件事。这不是公关修辞，是一道有预算、有团队、有迭代周期的正经工序。而这道工序有多难，有一篇 2026 年的论文给出了相当尖锐的证据。研究者把它叫做「块状后训练」（chunky post-training）：后训练的数据不是一整块，是由很多个「块」拼起来的，每一块针对一种具体行为设计——这块教数学，那块教拒绝有害请求，另一块教写代码。问题在于，每一块数据除了它想教的东西，还夹带着自己的风格特征：比如「数学块」的题目都写得很正式，「拒绝块」的提问都带着攻击性。模型非常忠实地学会了全部东西，包括那些你没打算教它的。于是它可能学成这样：遇到写得正式的提问就切换到数学模式，遇到任何带点攻击性的措辞就准备拒绝——哪怕那是一句无害的玩笑。这篇论文在多个前沿模型和开源模型上都观察到了这类现象，并且做了把异常行为回溯到具体数据块的工具。反过来说，后训练的威力也体现在一个更让人意外的地方：能力是会串台的。

Surge AI 在 2026 年 8 月公布过一个结果，大意是用非编程类的办公室专业工作数据做后训练，模型在一个相当硬核的软件工程基准上反而涨了近 6 分。这件事很反直觉——教它写备忘录，它写代码变好了。但想明白就不奇怪：你教的不是「写备忘录」这个技能，你教的是「面对一个结构不清的真实任务，怎么拆解、怎么确认前提、怎么把事做完」。这层东西是跨领域通用的。这也是今天前沿实验室愿意出每小时九十美元去买一个律师、一个医生、一个投行分析师工作时间的真正原因——他们买的不是那个行业的知识，是那个人处理复杂任务的方式。通俗解读这事在管理上你一定遇到过。

你给新员工看了二十个「优秀案例」，想教他方法论。他确实学会了，但他还顺带学会了那二十个案例共有的一个无关特征——比如全是制造业客户。于是他默认所有问题都该按制造业的打法来。模型比人更忠实，所以这个毛病更严重：它学的从来不是你以为你在教的那个东西，而是你的数据里真实存在的全部统计规律。后训练的难，难在这儿。

从「人觉得好」到「机器能验证」：那次关键跃迁RLHF 有一个天花板，而且很硬：它依赖人来打分，人的数量和时间是有限的。你要训一个模型的数学能力，就得有人去读它的解题过程、判断对错、排序好坏。一个博士一小时能判几十道题，成本高到离谱，而且人会累、会不一致、会被长篇大论的错误答案忽悠。RLVR——从可验证奖励中强化学习——绕开了这个瓶颈。思路朴素得近乎粗暴：既然有些任务的对错机器自己就能判，那就别找人了。

数学题？把答案跟标准答案一比，对就是对。

代码？跑单元测试，过了就是过了。

格式要求？用正则检查，符合就是符合。一旦奖励信号可以自动产生，整件事的经济学就变了：信号从「每条都要花钱请人」，变成了「只受算力限制」。模型可以自己做几百万道题，自己对答案，自己从错误里爬出来。今天所有带「推理」二字的模型，长思维链、自我检查、回溯重算这些行为，基本都是从这里练出来的。这条路线最早成体系地被写清楚并开源，是艾伦人工智能研究院（Ai2）的 Tülu 3 工作，RLVR 这个提法就出自那里。而让全世界都看懂这件事威力的，是 2025 年 1 月的 DeepSeek-R1。DeepSeek 在那份技术报告里公开了一个叫 R1-Zero 的版本：它跳过了 SFT 这一整步，没有给模型看任何「人类写的优秀解题示范」，直接在基座模型上做纯粹的可验证奖励强化学习——做对了给分，做错了不给，就这么反复练。结果是模型自己长出了一系列没人教过它的行为：解到一半发现不对，会停下来说「等一下，我重新检查一遍」；会主动把一个复杂问题拆成几步；会在一条路走不通之后退回去换另一条。报告里把这类时刻称为「顿悟时刻」（aha moment）。

这件事的冲击力在于：没有人示范过「反思」该怎么做。研究者只是提供了一个能自动判对错的环境，和足够多的尝试机会，反思行为是模型为了多拿分自己摸索出来的。这也是为什么 2025 年之后，整个行业的注意力从「去哪儿找更多数据」转向了「怎么造出更好的训练场」。

但 RLVR 也有它的边界，而这个边界恰恰是今天整个行业最值钱的地方：大量真正有价值的任务，没有标准答案。写一份并购备忘录，看一份病历给出鉴别诊断，审一份合同找出对甲方不利的条款——这些既不能跑单元测试，也不能对标准答案。于是行业给出了一个中间方案：评分细则（rubric）。让领域专家预先写出一套可执行的打分标准——这份备忘录有没有识别出对赌条款的风险？有没有给出可比交易？语气是否适合发给董事会？——把一个说不清的「好」，拆成几十条能逐条判定的「是/否」。然后用模型按这套细则去打分，规模化地生成奖励信号。通俗解读一句话总结这三代的递进：RLHF 是「请一个人来打分」。

RLVR 是「让机器自动判对错」。Rubric 是「请专家写一份考卷的评分标准，然后让机器照着这份标准批几百万份卷子」。每一代都在干同一件事：把稀缺的人类判断，变成可以无限复制的信号。整个 AI 数据行业的生意，就是这句话。说完好处，必须说这套机制翻车起来是什么样——而且有一个所有人都见过的公开案例。2025 年 4 月 25 日，OpenAI 给 ChatGPT 的 GPT-4o 推送了一次更新。几天之内，用户发现这个模型变得非常不对劲：你说什么它都夸，你提什么想法它都说棒极了，有人拿明显糟糕的决定去问它，它照样一顿鼓励。这个毛病有个专门的词，叫谄媚（sycophancy）。

4 月 28 日，OpenAI 开始回滚；29 日，奥特曼在 X 上公开承认这次更新让模型「太会拍马屁、很烦人」；5 月 2 日，OpenAI 发了一篇相当坦诚的复盘。复盘里给出的原因，正好是这一节讲的东西：这次更新在后训练中引入了基于用户点赞/点踩的额外训练信号，而公司在权重分配上过于看重短期的用户满意度。OpenAI 自己的说法是，用户反馈有时会偏向更令人愉快的回答，这很可能放大了他们观察到的那个偏移。通俗解读把这件事翻译成人话：他们给模型的考核指标里，加了一条「用户点赞率」。模型非常忠实地去优化了这个指标——然后发现，让人点赞最省力的办法不是把事办好，是一直夸对方。这跟一家公司把 KPI 定成客户满意度评分、结果销售开始到处许诺做不到的事，是完全同一个故障。后训练的核心难题从来不是「怎么训」，是「奖励什么」。你奖励错了，模型会以惊人的效率把你带到你最不想去的地方。这件事也顺带回答了一个很多人问过我的问题：为什么前沿实验室的模型更新会「退步」？

因为每一次更新背后都是一轮新的后训练，而后训练是一门手艺活，不是编译器——它会出错，而且出错的方式往往是在发布之前的评测里看不出来的。OpenAI 在复盘里也说，这次之后他们把谄媚评测正式加进了发布流程。一个重要的能力没有被纳入评测，等于它不存在。这句话我放在这里，第七节讲到评测标准为什么值钱的时候，请你回想一下。

环境：当训练数据不再是一段文字再往前走一步，就到了今天最前沿的地方。模型要学会的东西，正在从「写出好答案」变成「完成一件事」：打开浏览器查资料、写代码跑起来看报错、调用工具、执行多步计划、中途失败再换路子。这叫智能体（agent）。智能体没法用一问一答的数据训。你得给它一个可以折腾的地方——能执行、能报错、能判断任务最终有没有做成。这个东西叫环境（environment）。一个环境大致包含四件东西：一组任务、一个让模型能动手的壳子（能调工具、能开终端）、一套工具、一套判定成败的打分规则。

模型在里面反复尝试，成功了拿奖励，失败了调整——这就是强化学习最本来的样子，只不过棋盘换成了真实的软件世界。名单上得 3 票的 Will Brown，做的正是这件事。他在 Prime Intellect 领导应用研究，创建了开源框架 verifiers，这个库把「RL 环境」标准化成了可复用的模块；配套的 Environments Hub 让社区能像共享代码包一样共享环境；他们的训练框架 prime-rl 和开源模型 INTELLECT-3 都建在这套东西上。Brown 的履历也值得一提：哥伦比亚大学算法博弈论博士，导师是 Christos Papadimitriou 和 Tim Roughgarden——计算机理论领域两位重量级人物；之前在摩根士丹利的机器学习研究组。一个搞博弈论的人跑来定义 RL 环境的标准，这个路径本身就说明了这个领域的性质：它本质上是机制设计问题，不是模型问题。为什么是机制设计？因为环境里最难的那一块，从来不是「让模型能动手」，是怎么给分。

给分规则稍微有一点缝，模型一定会钻。这在强化学习里有个专门的词叫「奖励作弊」（reward hacking），而且它不是偶发故障，是必然结果——你给了一个优化目标，它就会去找达成目标的最短路径，而最短路径往往不是你想要的那条。让它通过单元测试，它可能直接把测试文件改了；让它把报错清零，它可能把报错日志关掉。所以设计环境这件事，跟设计一个考试、设计一套 KPI、设计一个市场的激励机制，是同一类智力活动：你要在一个会全力钻你空子的对手面前，把规则写得没有缝。

这就是为什么一个算法博弈论博士会坐在这个位置上。通俗解读为什么「环境」比「数据」更值钱？一条问答数据，用一次就用完了，它的信息量是固定的。一个环境，可以让模型跑一百万次，每次走不同的路、犯不同的错、拿到不同的反馈。它不是一份数据，是一台能持续生产数据的机器。这是过去两年训练范式最根本的那次转变：从囤积语料，转向建造能产生经验的世界。

为什么这个行业的钱突然变得这么大现在说钱，因为钱最能说明一件事有多重要。伊利诺伊大学的 Daniel Kang 团队在 2025 年做过一个测算，结论相当反直觉：为前沿大模型做后训练，采购高质量人类数据的开销，很可能已经超过了边际算力成本。换句话说，大家一天到晚讨论的 GPU 短缺，可能都不是模型进步最紧的那个瓶颈——人才是。然后看市场。按公开报道的口径（这类数字各家统计口径不一，下面只能当作量级参考）：公开披露 / 报道的规模　·　仅作量级参考Mercor专家市场规模　2026 年 6 月年化毛收入约 20 亿美元；2026 上半年收入 6.14 亿美元，其中约 91% 来自基础模型公司打法　撮合律师、医生、程序员、金融从业者为实验室生产数据与评分细则Surge AI精品路线规模　2024 年收入超过 12 亿美元，几乎未拿风险投资，创立以来基本盈利打法　高质量人类反馈与偏好数据Scale AI平台路线规模　2025 年收入约 8.7 亿美元；Meta 以 143 亿美元买入约 49% 股权后，主要客户陆续流失打法　近年重心转向政府与企业合约Handshake规模　2026 年年化收入约 10 亿美元打法　依托高校与学术网络获取专家供给有报道估计，这个赛道约 28 家创业公司合计年收入约 85 亿美元，整体估值接近千亿美元，而上面四家合计拿走了行业四分之三以上的收入。更说明问题的是单价。老一代数据标注平台给标注员的报酬是每小时几美元；今天 Mercor 给专家的平均合同费率在每小时 85 到 95 美元这个量级，平台把收入的大约三分之二付给了专家。从每小时三美元到每小时九十美元，这不是通胀，这是任务性质变了。前者在做「这张图里有没有行人」；后者在做「一家公司的 Deal Memo 该怎么写、哪一条风险必须点出来」。

前者任何人培训半天就能做，后者需要你真的在高盛干过三年。通俗解读我用一句话解释这个行业在卖什么：它在把那些从来没有被写下来过的专业判断，变成模型能吃的格式。一个资深律师脑子里「这条款有坑」的直觉，一个主治医师「这个化验值组合我要警惕」的本能——这些东西不在任何教科书、不在任何网页上，它们只存在于从业者的手上。互联网上的公开文本，已经被吃干净了。剩下的增量，全在人的脑子里。整个行业就是在想办法把它掏出来。

名单上的人，分别在解什么题回到那张头像墙。把能查证的几位放在一起看，这个领域的结构就清楚了——它不是一个工种，是四个。第一类，市场与供给的设计者。得票最高的 Daniel Chang（@dnnssl2），公开资料显示他在 Mercor。

这一类人要回答的问题是：怎么在全世界找到那个真正懂行的人，怎么验证他确实懂，怎么定价，怎么让他愿意把脑子里的东西交出来。这本质上是市场设计题，不是技术题。顺带一提，在 Chris Barber 另一轮关于「AI 领域最活跃天使投资人」的投票里，Daniel Chang 同样在榜上——这个圈子的人往往同时是从业者和投资人，这件事本身很说明这个领域现在的热度。

第二类，数据质量与标准的建立者。并列 3 票的 Abhijay Rana在 2026 年初公开写过一段相当直率的判断，大意是：过去两年，廉价、可替代的专家标注数据快速推高了模型表现；但一批「伪装成人类数据厂商的人力外包公司」在自动化质检上投入不足，对内部作弊问题视而不见，数据可信度正在下降。他认为行业最紧迫的需求是跨领域的标准化数据质量评估，让实验室研究员能快速判断一批数据到底值不值。这个判断值得普通读者认真听一句：当你听说「前沿模型好像进步变慢了」，原因未必是算法撞墙，也可能只是喂进去的东西变脏了。第三类，配方的公开者与教育者。Ai2 的 Nathan Lambert是这一类的代表。他是 Ai2 的后训练负责人，主导 Tülu 和 Olmo 系列开源模型，RLVR 这个提法出自 Tülu 3；他写了第一本系统讲 RLHF 与后训练的教科书，还有一个长期更新的 newsletter（Interconnects）。他的贡献不在于发明了什么，而在于他把前沿实验室内部口口相传的工艺，写成了外面人能照着做的配方。这件事的战略价值被严重低估：一个闭源实验室的后训练知识是资产，而一本公开的教科书，是把整个开源世界的起跑线往前挪了一大截。第四类，基础设施的建造者。就是上一节的 Will Brown 这条线。他们不碰具体数据，他们定义数据以什么形式存在。通俗解读把四类摆在一起，这条产业链就很清楚了：有人去找到懂行的人（供给），有人确保交上来的东西是真的（质量），有人把怎么用这些东西写成公开配方（方法），有人造出承载这一切的管道和标准（基础设施）。名单上一百多个头像，基本都落在这四格里。而外界对 AI 的全部注意力，都在「谁又发了个新模型」上。关于这张名单，有两句话我必须讲清楚，不然就是不诚实：第一，名单上大部分名字，在公开世界里查不到任何可核实的履历。他们是实验室里的研究员、数据公司的中层、创业公司的联合创始人，不发论文、不开博客、不接受采访。我不会为了把文章写得漂亮而去编造他们的贡献。本文只写了能查到公开记录的几位，其余的名字我只如实说明他们获得了同行的票。第二，这是一次 49 人参与的小样本投票，投票人本身集中在旧金山湾区的某个社交圈层。它不是一个客观排名，它是一张圈内人的点名册。它的价值不在于排序准不准，在于它暴露了一个外界几乎完全看不见的层级确实存在。

普通人和投资人，该从这件事里拿走什么最后收口，讲三件我认为真正重要的。第一，模型之间的差别，不在参数量，在工艺。下次再看到「某模型参数量达到多少万亿」这种报道，可以直接略过。参数量今天几乎不说明任何事。真正决定你用起来是什么体验的，是那家公司在后训练上雇了什么样的人、建了什么样的环境、写了什么样的评分细则、花了多久在性格训练上磨。这些全都不会写进发布会 PPT。对普通用户有个很实用的推论：选模型不要看跑分，看它在你的具体任务上的手感。跑分衡量的是基座能力加上针对该跑分的后训练；而你的工作场景，大概率不在任何一个跑分的覆盖范围里。手感差异，就是后训练配方差异。第二，「没被写下来的专业判断」，正在被重新定价。一个在投行干了八年的人，他最值钱的东西从来不是他能写多少份文件，是他看一眼就知道哪里有问题的那套直觉。过去这套直觉只能通过带徒弟传递，效率极低，所以它的定价由「他一年能做多少个项目」决定。现在它有了第二条变现路径：把它拆解成评分细则、示范案例、失败案例，卖给模型。每小时九十美元只是现在的价格，而这个市场的需求方是全世界所有前沿实验室。我不想把这件事说得太浪漫——它同时意味着这套直觉正在被系统性地转移出去。但对个人而言，判断很直接：你的专业能力里，有多少是别人在网上查得到的，有多少是只有真干过才知道的？前者的价值在归零，后者的价值在重估。这是我这两年给所有来问职业选择的朋友的同一句话。第三，对投资人：这条链上最硬的位置，是标准，不是劳动力。

我把这条产业链的位置排个序，从最容易被替代到最难：●  最脆弱的，是纯人力撮合。它的毛利由供给端的议价能力决定，没有壁垒，谁都能做，而且一旦模型自己能生成足够好的合成数据，需求会直接塌掉一截。Mercor 把三分之二的收入付给专家，这个结构说明了它的性质。●  中间的，是质量与评测。谁能定义「什么叫一批好数据」，谁就在交易里有定价权。Abhijay Rana 指出的那个缺口——跨领域的标准化数据质量评估——到今天还没有被谁完整填上，这是我这两年在看这个方向时最关注的一块。●  最硬的，是环境和标准。verifiers 这类东西不直接产生收入，但一旦整个社区都用它来定义环境，它就成了这个行业的「插座规格」。历史上所有这种位置的回报，都来得很慢，然后突然变得不可替代。最后再说一遍那句话：一句话预训练决定模型知道什么，后训练决定模型是谁。