咱们先来想象一个场景:你有个特别聪明的远方表弟,外号“行走的图书馆”。他读完了世界上所有的书,上知天文,下知地理,中晓人和。你问他“唐朝有多少年?”,他秒答。你问他“勾股定理是啥?”,他立马给你推导一遍。这个表弟,就是一个 “预训练的基础模型” ,比如最早的GPT-3之类。他知识渊博,但不怎么好“用”。为什么不好用呢?因为你跟他聊天很累。

你问: “明天出门要带伞吗?”

表弟(基础模型)答: “明天出门是否需要带伞,取决于多种因素,包括但不限于当地的天气预报、云层厚度、相对湿度以及气压变化……(以下省略500字)”

他说的都对,但就是一句有用的没有。你只想听“带”或者“不带”,或者“我看天气预报说下雨,最好带上”。

再比如,你想让他帮你把一篇英文新闻总结成三行中文。他可能会直接给你把整篇新闻翻译过来,或者给你讲一遍英文的语法结构。

这就是早期AI模型的问题:它们拥有海量的知识,但根本不懂你“想要什么”,更不擅长“好好回答问题”和“遵循指令”。

好,那这时候,我们的主角——SFT微调,就该登场了。

SFT,全称 Supervised Fine-Tuning,中文叫有监督的微调。

别被这个名字吓到,咱们拆解开看:

微调: 还记得那个“行走的图书馆”表弟吗?他脑子里的知识是固定的。现在,我们不是要给他重新灌输一遍世界知识(那太费劲了),而是想给他做个“岗前培训”,教他怎么跟人正常聊天、怎么回答问题。这个过程,就是在他已有知识的基础上,做一点小小的“调整”,让他变得更听话、更好用。这就是“微调”。

有监督: 怎么培训呢?你得给他“喂”正确的例子。就像教小孩说话一样,你拿出一张苹果的图片,告诉他“这是苹果”。在AI这里,我们准备一大堆“问题”和“标准答案”的配对。比如:

问题: “明天出门要带伞吗?”

标准答案: “亲,我看了一下天气预报,明天大概率有雨,建议您带上伞哦。”

问题: “帮我把这篇英文新闻总结成三行中文。”

标准答案: (这里就是三行写好的中文总结)

我们把这些“问题-正确答案”的样本,喂给那个聪明的“表弟”看,让他自己琢磨:“哦,原来人类问‘要带伞吗’的时候,是想让我先去查天气,然后给一个直接、有用的建议,而不是背气象学教材。”

这个过程,就是 “有监督”——有标准答案在旁边盯着他学习。“微调”——在他庞大的知识网络上,拨动一下小开关,调整一下神经元的连接权重,让他改变输出问题的“方式”和“风格”。

所以,SFT微调说白了就是:给一个已经学富五车、但不会办事的AI,开一个“岗前特训班”。用大量的“我问-你答”优秀案例来训练它,把它从一个满嘴跑火车的“书呆子”,调教成一个善解人意、指哪打哪的“万能小助手”。

这就是SFT微调最核心的价值。没有它,ChatGPT就不会是现在这个ChatGPT,它最多只是个更聪明的“文字接龙游戏”。SFT的出现,就是为了解决“基础模型虽然知识丰富,但无法有效理解和执行人类指令”这个核心痛点。

Logo

这里是“一人公司”的成长家园。我们提供从产品曝光、技术变现到法律财税的全栈内容,并连接云服务、办公空间等稀缺资源,助你专注创造,无忧运营。

更多推荐