前馈 第2章 三叉戟的雏形

——当星火开始燃烧，它需要的不是更多的柴薪，而是一条让火焰流动的河道。

一、天使的橄榄枝

2021年3月，华京。

三月的华京，寒意渐退，柳枝抽出了嫩绿的新芽。

陆沉舟站在星辰科技的会议室里，对面坐着三个人。

领头的是一位四十多岁的男人，头发梳得一丝不苟，西装笔挺，眼神锐利而精明。他叫王建国，是华京一家知名投资机构的合伙人。跟在他身后的是两位年轻的分析师，抱着笔记本电脑，随时准备记录。

“陆总，”王建国翻开手中的资料，“我们看过你的商业计划书。说实话，我们对你的技术很感兴趣。”

陆沉舟的心跳加速了一拍。

过去八个月，他和小张几乎住在了公司里。凌晨四点的华芯科技园，已经成为他们最熟悉的风景。从最初的那封神秘邮件开始，陆沉舟就意识到，自己捕捉到了一个足以改变一切的机会。

“谢谢王总的认可。”陆沉舟努力让自己的声音保持平稳，“我可以再为您演示一下我们的技术架构吗？”

王建国点点头。

陆沉舟走到投影幕前，打开了笔记本电脑。屏幕上出现了一个复杂的架构图——那是”星火大模型”的初代架构。

“这是我们设计的分布式训练框架。”陆沉舟指着屏幕，“传统的深度学习训练是单机的，但我们的架构可以将计算任务分散到数百甚至数千张GPU上。通过数据并行和模型并行相结合，我们可以训练参数规模超过千亿的大模型。”

王建国皱着眉头听完，然后问了一个关键问题：“陆总，我查过你们公司的财务数据。过去一年，你们的支出超过了两千万，但收入几乎是零。你们的钱从哪里来？”

陆沉舟沉默了一下。

这个问题，他早就想好了答案。

“王总，我卖掉了我的房子。”陆沉舟平静地说，“还有我之前创业攒下的积蓄。总共大约一千万。”

会议室里安静了几秒。

王建国的眼神变了变，似乎对眼前这个年轻人多了几分敬意。但商业是商业，敬意归敬意。

“陆总，我直说了吧。”王建国合上资料，“大模型这个赛道，饼画得很大，但真正能吃到的没几家。OpenAI有微软，百度有李彦宏，你一个创业公司，凭什么？”

“更关键的是，”王建国继续说，“你知道训练一个大模型要多少钱吗？GPT-3的训练成本是875万美元，这还是2020年的数据。你现在连一台像样的GPU服务器都买不起，怎么和他们竞争？”

陆沉舟没有立刻回答。

他走到窗前，看着窗外正在苏醒的城市。三月的阳光洒在他脸上，带着一丝暖意。

“王总，您说的都对。”陆沉舟转过身，眼神明亮而坚定，“但您忘了一件事。”

“什么？”

“OpenAI之所以能训练出GPT-3，不是因为他们钱多。”陆沉舟走回会议桌前，“而是因为他们走在正确的路上。GPT-3的成功证明了Scaling Law——模型越大，性能越强。但问题是，Scaling不只是堆卡。”

“那是什么？”王建国来了兴趣。

“是架构。”陆沉舟的眼中闪烁着光芒，“您看过我们的技术文档吗？我们设计的’流动式训练’架构，可以将数据利用率提升三倍以上。这意味着，用同样的硬件，我们可以训练出更大的模型。”

王建国若有所思地点点头。

“还有一件事。”陆沉舟深吸一口气，“我不知道您是否了解，OpenAI的GPT-3论文里，提到了一种叫’思维链’的技术。这可能是大模型走向通用人工智能的关键。”

“思维链？”王建国皱眉，“那是什么？”

“简单来说，就是让模型学会推理。”陆沉舟在白板上画了一个简单的示意图，“传统的语言模型是根据前文预测下一个词。但思维链模型可以’思考’——它可以生成中间步骤，然后基于这些步骤得出最终答案。”

“这有什么用？”王建国追问。

“用处大了。”陆沉舟的眼中燃烧着火焰，“想象一下，一个能真正’思考’的AI。它可以帮你做复杂的决策，可以进行数学推理，可以理解代码，可以……”

他停顿了一下。

“可以成为真正的助手。”

会议室里再次陷入沉默。

王建国盯着陆沉舟看了很久，然后站起身。

“陆总，我需要和我的团队商量一下。”他伸出手，“三天内给你答复。”

陆沉舟握住他的手，用力点了点头。

二、至暗时刻

王建国走了。

陆沉舟站在空荡荡的会议室里，看着窗外的天空。

他知道，刚才的演示并不完美。投资人问的那些问题，他并没有完全回答。

最核心的问题是：钱。

一千万，听起来很多，但在AI赛道里，只够烧几个月。GPU服务器的租金、数据的采集和清洗、团队的工资……每一项都是天文数字。

“陆总。”

小张的声音从门口传来。

陆沉舟转过头，看到小张手里拿着一叠账单。

“这是上个月的支出明细。”小张把账单放在桌上，声音有些沉重，“GPU服务器续费45万，数据标注团队费用28万，还有……”

“还有什么？”

“还有电费。”小张苦笑了一下，“服务器的电费，比我们三个人的工资加起来还多。”

陆沉舟拿起账单，扫了一眼。

数字触目惊心。

“我们的现金流，还能撑多久？”他问。

小张沉默了几秒。

“如果不做任何调整……四个月。”

四个月。

陆沉舟闭上眼睛。

四个月后，如果还没有新的资金注入，星辰科技就会死。

“陆总，”小张犹豫了一下，“要不……我们先做一些小项目？接一些企业定制的活，先让公司活下去？”

陆沉舟没有说话。

他走到白板前，看着上面的架构图。

小张说的没错。对于一个创业公司来说，先活下去是最重要的。很多AI公司都是这样，先做定制项目积累资金，然后再慢慢做自己的产品。

但这样做的代价是什么？

代价是时间和专注。

大模型的研究需要全身心的投入。如果分心去做其他项目，星辰科技就永远不可能追上OpenAI的步伐。

“小张，”陆沉舟开口了，声音有些沙哑，“你还记得那天晚上吗？”

“哪天？”

“就是我收到那封邮件的那天。”陆沉舟转过身，“凌晨四点，我让你去查数据管道的论文。”

小张点点头：“记得。那天您像疯了一样。”

“那天我告诉你，我可能发现了一些能改变一切的东西。”陆沉舟走到窗前，看着远处的灯火，“现在我还是这么认为。”

“但我们快没钱了。”小张的声音里带着一丝焦虑。

“我知道。”陆沉舟深吸一口气，“所以我们必须拿到那笔投资。”

“王总说三天内给答复……”

“三天太长了。”陆沉舟打断了他，“我现在就给他打电话。”

小张愣住了：“现在？”

陆沉舟已经拿起了手机。

三、意外的转机

电话接通了。

“陆总？”王建国的声音从听筒里传来，带着一丝意外，“我们刚分开，你就打电话来了？”

“王总，”陆沉舟开门见山，“我需要当面和您谈。”

电话那头沉默了几秒。

“好吧。”王建国说，“你现在在哪？”

“华芯科技园。”

“我半小时后到。”

电话挂断。

小张惊讶地看着陆沉舟：“陆总，您这是……”

“逼自己一把。”陆沉舟放下手机，嘴角露出一丝苦笑，“也逼投资人一把。”

半小时后，王建国再次坐在了星辰科技的会议室里。

这一次，他没有带分析师。

“陆总，”王建国看着陆沉舟，“你有什么想说的？”

陆沉舟没有立刻回答。他从包里拿出一个U盘，插进了会议室的电脑。

“王总，我想让您看一个东西。”

屏幕上出现了一段代码。

“这是什么？”王建国皱眉。

“这是我们昨天刚完成的一个小实验。”陆沉舟指着屏幕，“我们用十分之一的参数量，训练出了一个简化版的模型。它没有GPT-3那么大，但已经展现了思维链的雏形。”

他按下播放键。

屏幕上，一个简单的对话界面出现了。

用户输入：“小明有3个苹果，小红给了他2个，然后小明吃掉了1个。小明现在有几个苹果？”

模型输出：“让我思考一下。小明最初有3个苹果。小红给了他2个，所以3 2=5个。然后小明吃掉了1个，所以5-1=4个。答案是4个苹果。”

王建国的眼睛亮了。

“它……在推理？”他难以置信地问。

“是的。”陆沉舟点点头，“这就是思维链的力量。它不只是给出答案，而是展示思考的过程。”

王建国盯着屏幕看了很久。

“陆总，”他终于开口，“我承认，你的演示打动了我。但我仍然有一个顾虑。”

“您说。”

“大模型的训练需要海量的数据和算力。你们现在的资源，根本不够。”王建国直视陆沉舟的眼睛，“就算你的架构再先进，没有足够的燃料，火箭也飞不起来。”

陆沉舟沉默了。

这正是他一直回避的问题。

“所以，”王建国站起身，“我有一个提议。”

“什么提议？”

“我个人的天使基金，可以给你们投500万。”王建国说，“但有一个条件。”

“什么条件？”

“你们必须all in。”王建国的眼神变得锐利，“不是小打小闹，不是做做定制项目。是真正地把所有资源都投入到通用人工智能的研究上。”

陆沉舟的心跳加速了。

“还有，”王建国补充道，“我需要你给我一个承诺。在未来两年内，你不能分心做其他业务。星辰科技只能有一个目标——训练出中国自己的GPT。”

陆沉舟沉默了。

两年。

两年的all in，意味着巨大的风险。如果失败了，他将一无所有。

但如果不赌这一把，他这辈子都会后悔。

“王总，”陆沉舟抬起头，“我能问一下吗？您为什么愿意冒这个险？”

王建国笑了。

“因为我相信你。”他说，“那天晚上，你眼睛里的光，让我想起了二十年前的自己。”

“那时候我也是个疯子，为了一个不切实际的梦想，卖房子、借钱、被人当傻子。”王建国的眼神变得悠远，“最后，我赌赢了。”

“现在，我愿意再赌一次。”

陆沉舟站起身，伸出手。

“成交。”

王建国握住他的手，用力摇了摇。

“陆总，”他说，“两年。我给你两年时间。两年后，让我们看看，中国能不能诞生自己的OpenAI。”

四、流动的火焰

签完投资协议的第二天，陆沉舟做出了一个决定。

他让小张把公司的备用服务器全部开机，然后在自己的桌子上放了一块白板。

白板上写着几个大字：

“让数据流动起来。”

这是那封神秘邮件里的话。八个字，像一盏灯，照亮了陆沉舟前进的方向。

“陆总，”小张走过来，指着服务器集群，“GPU全部就绪了。一共32张A100，总算力大约是每秒1.2亿亿次浮点运算。”

陆沉舟点点头。

这个算力，和OpenAI的万卡集群相比，还差得远。但对于国内创业公司来说，已经算是顶级配置了。

“分布式框架搭好了吗？”他问。

“搭好了。”小张打开笔记本电脑，“我们实现了三层并行：数据并行、模型并行和流水线并行。理论上，可以扩展到上千张GPU。”

陆沉舟走到服务器前，看着那些闪烁的指示灯。

“小张，你知道这些灯代表什么吗？”

“呃……服务器运行状态？”

“不。”陆沉舟摇摇头，“这些灯代表我们燃烧的热情。每一盏灯，都是我们对未来的信仰。”

小张愣了一下，然后笑了。

“陆总，您这话听起来像在写诗。”

“AI时代，我们需要一点浪漫。”陆沉舟也笑了，但笑容很快变得严肃，“不过现在不是浪漫的时候。小张，召集所有人，我们开会。”

一个小时后，星辰科技的所有成员都聚集在了会议室里。

除了小张，还有五个人。

赵明，算法工程师，28岁，清华博士，研究方向是自然语言处理。

李芳，数据工程师，26岁，北邮硕士，负责数据管道的搭建。

陈飞，系统架构师，30岁，之前在华为做过分布式系统。

林晓，测试工程师，25岁，年轻但技术扎实。

还有刘洋，产品经理，27岁，负责对接外部需求。

六个人，加上陆沉舟，七条枪。

这就是星辰科技的全部班底。

“各位，”陆沉舟站在白板前，“我有一个消息要宣布。”

“我们刚拿到了500万的天使投资。”

会议室里响起了低低的欢呼声。

“但这不是重点。”陆沉舟继续说，“重点是，从现在开始，星辰科技只有一个目标。”

他在白板上写下几个字：

“训练中国第一个千亿参数大模型。”

“我知道这个目标听起来很疯狂。”陆沉舟看着每个人的眼睛，“千亿参数，听起来遥不可及。但我相信，只要我们方法正确，就一定能做到。”

“陆总，”赵明举手，“我有几个技术问题。”

“说。”

“第一，GPT-3有1750亿参数，我们的目标是千亿级别，差了一倍。但就算千亿，训练成本也是一个天文数字。我们的钱够吗？”

“不够。”陆沉舟坦诚地说，“所以我们要做三件事。第一，优化训练效率，降低单次训练成本。第二，寻找更多算力资源，包括云服务和政府补贴。第三，稳扎稳打，先用百亿参数练手，再逐步扩展到千亿。”

“第二，”赵明继续问，“数据从哪里来？GPT-3用了超过3000亿token的训练数据，我们不可能有那么大的数据集。”

“这是个好问题。”陆沉舟点点头，“我们的策略是’高质量胜过高数量’。互联网上公开的数据，我们只取最优质的那10%。同时，我们也在和几家内容平台谈合作，获取他们的高质量数据。”

“还有第三点，”李芳举手，“我们的分布式训练框架虽然理论上支持千卡扩展，但实际运行中会遇到很多问题。比如梯度消失、负载不均衡、故障恢复……”

“所以这就是我们接下来要解决的核心问题。”陆沉舟在白板上画了一个示意图，“我把这个叫做’流动式训练’架构。”

“流动式训练？”众人疑惑。

“对。”陆沉舟的眼中闪烁着光芒，“传统的分布式训练，数据是静态的——每个节点处理一批数据，然后同步，再处理下一批。这种方式效率低下，而且容易出现瓶颈。”

“但我们的’流动式训练’，数据是动态的。数据像水流一样在集群中流动，每个节点随时可以获取需要的数据，不再需要等待同步。”

“这样做的好处是什么？”陈飞问。

“好处是效率大幅提升。”陆沉舟说，“根据我们的模拟，’流动式训练’可以将GPU利用率从传统的40%提升到80%以上。这意味着，同样的硬件，我们可以训练出更大的模型。”

会议室里响起了热烈的讨论声。

陆沉舟看着这些年轻的脸上露出的兴奋表情，心中涌起一股暖流。

这群人，愿意为了一个梦想，付出一切。

“好了，”陆沉舟拍了拍手，“散会。大家回去准备一下，明天正式开始封闭式开发。”

“封闭式开发？”小张惊讶地问。

“对。”陆沉舟点点头，“从明天开始，除了必要的物资采购，没有人可以离开这栋楼。”

“我们要用三个月时间，完成星火大模型的第一个版本。”

“三个月？”赵明难以置信，“这也太赶了吧？”

“不赶不行。”陆沉舟叹了口气，“大模型赛道，现在是战国时代。每天都有新的公司入场，每天都有新的技术突破。如果我们慢了，就永远追不上别人。”

“所以，我们必须快。”

“快到让对手绝望。”

五、第二封信

凌晨两点。

星辰科技的办公区，已经陷入黑暗。只有陆沉舟的办公室里，还亮着一盏灯。

他坐在电脑前，看着屏幕上不断滚动的训练日志。

第一天，数据管道搭建完成，测试通过。

第二天，分布式框架调试完成，28张A100成功组网。

第三天，模型初始化完成，开始第一次试跑。

现在，是第四天的凌晨。

第一次试跑的结果即将出来。

“Loss: 4.7321”——屏幕上显示着这个数字。

Loss，是训练过程中的损失函数。简单来说，这个数字越低，代表模型越”聪明”。

4.7321，不算高，但也不算低。

对于一个刚起步的模型来说，这已经是不错的成绩。

但陆沉舟知道，这还远远不够。

他需要的是”涌现”。

“涌现”是大型语言模型研究中最重要的概念之一。当模型的参数规模超过某个临界点时，模型会突然展现出一些意想不到的能力——比如推理、常识理解、甚至简单的代码编写。

GPT-3之所以伟大，就是因为它展现了1750亿参数下的涌现能力。

而陆沉舟的目标，是让星火大模型也具备这种能力。

“临界值……”他喃喃自语，“我们的临界值是多少？”

突然，屏幕上弹出了一封邮件。

发件人：unknown

主题：你的临界值，在这里。

陆沉舟的心跳骤然加速。

这是他收到的第二封神秘邮件。

他颤抖着手，点开了邮件。

附件是一个文档，只有两页。

第一页是一张图表，显示的是模型规模与性能的关系曲线。

图表上有几个关键节点，分别标注着：

?10亿参数：基础语言理解

?100亿参数：上下文学习

?500亿参数：简单推理

?1000亿参数：涌现开始

?1750亿参数：复杂推理

“1000亿参数……”陆沉舟盯着那个数字，“这就是涌现的临界值？”

他翻到第二页。

第二页是几行代码，看起来像是某种优化算法的实现。

但让陆沉舟震惊的不是代码本身，而是代码下面的一句话：

“让梯度流动，让损失流动，让智慧流动。——这就是通往涌现的道路。”

陆沉舟猛地站起来。

“梯度流动……损失流动……”

他突然明白了那封邮件的含义。

传统的深度学习训练，梯度是”静止”的。每个节点计算自己的梯度，然后同步汇总，再统一更新模型参数。这个过程叫做”梯度同步”。

但如果让梯度”流动”起来呢？

如果每个节点在计算完自己的梯度后，不等待同步，而是立刻用它来更新局部模型，然后再把更新后的梯度传递给下一个节点呢？

“异步……异步梯度更新……”陆沉舟的眼睛越来越亮。

他快步走到白板前，拿起笔，开始疯狂地写公式。

如果他的推测没错，这种”流动式梯度更新”可以大幅减少节点之间的通信开销，从而让分布式训练的效率提升数倍。

“这……这可能改变一切……”陆沉舟放下笔，看着白板上的公式。

他不知道那封邮件是谁发的，也不知道这些信息是从哪里来的。

但他知道，这些信息，将改变大模型训练的格局。

“不管你是谁，”陆沉舟对着空气说，“谢谢你。”

窗外，东方的天际开始泛起鱼肚白。

新的一天，即将开始。

六、星火燎原

三个月后。

2021年6月，华京。

星辰科技的服务器集群，已经从28张A100扩展到了112张。

“流动式训练”架构，经过无数次的调试和优化，终于成熟了。

陆沉舟站在服务器前，看着那些闪烁着蓝光的机器，心中充满了骄傲。

“陆总，”小张走过来，手里拿着一份报告，“第三轮测试结果出来了。”

“Loss是多少？”

“2.1147。”小张的声音里带着一丝激动，“比三个月前下降了50%以上。”

陆沉舟接过报告，仔细地看着每一个数字。

Loss曲线逐渐趋于平稳，说明模型正在稳定地学习。

“涌现测试呢？”他问。

“做了。”小张打开笔记本电脑，“我们在几个典型的推理任务上测试了模型。结果……”

“结果怎么样？”

“结果超出预期。”小张的眼中闪烁着光芒，“当参数规模超过800亿时，模型开始展现出明显的’思维链’能力。它可以解决简单的数学问题，可以进行逻辑推理，甚至可以……”

“可以什么？”

“可以写简单的代码。”小张说，“我们给它一个描述，它就能生成对应的Python代码。虽然还不是完全正确，但已经让我们看到了希望。”

陆沉舟沉默了。

800亿参数，就已经展现出了涌现能力的雏形。

如果达到1000亿呢？

“继续训练。”他说，“目标是1000亿参数。”

“陆总，”小张犹豫了一下，“我们的资金……”

“还剩多少？”

“按照现在的消耗速度，还能撑四个月。”

四个月。

四个月后，如果还没有新的资金注入，训练就会中断。

“四个月够了。”陆沉舟说，“按照现在的进度，四个月内，我们一定能看到结果。”

“如果看不到呢？”

“那就再想办法。”陆沉舟的眼中燃烧着火焰，“就算把房子再买回来，就算再去借钱，我也要把这事做成。”

小张看着陆沉舟的表情，突然笑了。

“陆总，您知道吗？每次看到您这个样子，我就觉得没有什么是不可能的。”

“因为确实没有什么是不可能的。”陆沉舟也笑了，“人类之所以能走到今天，就是因为我们敢于做梦，敢于把不可能变成可能。”

“三百年前，人类以为飞行是神话。一百年前，人类以为登月是妄想。三十年前，人类以为通用人工智能是科幻。”

“但现在呢？”

“现在，我们正在亲手创造历史。”

窗外，阳光正好。

星辰科技的标志，在阳光下熠熠生辉。

那是一颗燃烧的星星，象征着人类对知识的渴望，对未知的探索，对未来的希望。

陆沉舟看着那个标志，心中涌起一股豪情。

“星火燎原。”他轻声说，“终有一天，我们会让全世界看到——”

“中国的AI，不会落后于任何人。”

【第2章·完】

本章技术注释：

1.分布式训练（Distributed Training）：将深度学习模型的训练任务分散到多个计算节点（GPU）上执行的技术。本章提到的”数据并行”和”模型并行”是两种主要的分布式策略。

2.思维链（Chain-of-Thought, CoT）：一种让大型语言模型展示推理过程的技术。通过让模型生成中间推理步骤，可以显著提升模型在复杂推理任务上的表现。本小说将这一2022年才被广泛研究的技术提前到2021年。

3.涌现（Emergence）：当系统的复杂性超过某个临界点时，突然展现出全新能力的神秘现象。在大型语言模型中，涌现表现为模型规模的增大突然带来质变的能力提升。

4.流动式训练（Flow-based Training）：本章提出的创新架构概念。通过让数据和梯度在集群中”流动”而非”同步”，可以大幅提升分布式训练的效率。

A100 GPU：NVIDIA推出的数据中心级GPU，是2020年代初期训练大型AI模型的主要硬件。