小白必看:一文搞清楚嵌入(Embedding)、微调(Fine-tuning)和提示工程(Prompt Engineering)
小白必看:一文搞清楚嵌入(Embedding)、微调(Fine-tuning)和提示工程(Prompt Engineering)
一、嵌入(Embedding)
嵌入本质上是由浮点数组成的向量序列。这种向量的特殊之处在于,两个向量之间的距离可以直观反映它们的相关性 —— 距离越小,意味着两者的关联程度越高;距离越大,则相关性越低。打个比方,就像两个物品离得越近,它们在功能或属性上可能越相似,嵌入向量的距离正是这种 “相似性” 的数学表达。

嵌入技术在实际场景中应用广泛,除了常见的用途外,还包括:
- 搜索(按查询与结果的相关性排序,让最匹配的内容优先呈现)
- 聚类(将语义或特征相似的文本自动归为一类,比如把 “苹果手机” 和 “智能手机” 分到同一组)
- 推荐系统(依据文本描述的相关性,为用户推荐类似商品或内容,如 “你可能还喜欢” 的推荐逻辑)
- 异常检测(识别出与大多数样本相关性极低的异常数据,比如在用户评论中发现与主题无关的垃圾信息)
- 多样性测量(分析一组文本的相似性分布,判断内容是否过于单一或足够多元)
- 分类(根据文本与预设标签的相似度,自动为内容贴标签,如新闻分类为 “科技”“娱乐” 等)
- 语义搜索(更深层次理解用户查询的含义,比如用户搜 “缓解头痛的方法”,能返回包含 “减轻头疼技巧” 的内容)
二、微调 (Fine-tuning)
微调是一种通过训练远超提示词(prompt)中示例数量的数据,来优化模型小样本学习能力的技术。它能让模型在更多样化的任务中表现更出色 —— 经过微调后,无需在每次提示中重复提供示例,不仅能减少输入成本,还能显著降低请求的响应延迟。

微调特别适合有大量标注数据的场景,比如在医疗领域,当需要模型精准识别病历中的疾病术语时,用海量标注病历进行微调,能让模型比基础版本更懂专业术语;在法律领域,微调后的模型对法条的理解和应用也会更贴合实际需求。简单来说,微调就像给模型 “定制化补课”,让它在特定领域从 “略懂” 变成 “精通”。
三、提示工程(Prompt Engineering)
如果缺少精心设计的提示词和基础技巧,大语言模型很容易产生 “幻觉”—— 也就是编造看似合理却不符合事实的答案。这种风险的棘手之处在于,模型的错误输出往往逻辑流畅、极具说服力,因此必须通过专业的提示设计来规避,提示工程应运而生。
提示工程是一门新兴学科,核心是围绕提示词的开发与优化,帮助用户在各类场景和研究领域中高效使用大语言模型(LLM)。掌握这一技能,不仅能让用户更清晰地认识大语言模型的能力边界,还能最大化发挥其潜力。研究人员可用它提升模型在复杂任务(如多步骤推理、专业问答)中的表现;开发人员则能借此设计出更高效的交互技术,让模型与其他工具无缝协作。
值得注意的是,提示工程不止于提示词本身,还涵盖了与大语言模型交互的全套技能 —— 从基础的指令设计,到结合外部工具增强模型能力(如让模型调用计算器处理复杂运算),再到通过提示词提升输出的安全性(如避免生成有害内容),都是其重要组成部分。
3.1 大语言模型设置

大语言模型的输出风格和准确性,很大程度上由参数控制,其中最关键的两个参数是:
- Temperature(温度):这个参数直接影响输出的随机性。数值越小(如 0.1-0.3),模型输出越确定、保守,适合需要严谨性的任务(如合同起草、事实问答);数值越大(如 0.7-1.0),输出越多样、有创造性,适合诗歌创作、故事续写等场景。形象地说,它就像调节水龙头的开关,开得小水流稳定,开得大水流更湍急多变。
- Top_p(核采样):与 Temperature 类似,Top_p 通过控制候选词的范围影响输出。数值越小(如 0.1-0.3),模型只会从概率最高的少数词中选择,输出更聚焦、准确;数值越大(如 0.7-0.9),候选词范围越广,输出越灵活。实际应用中,两者通常配合使用,比如写科研论文时,常用 Temperature=0.2+Top_p=0.3,既保证严谨又避免过于僵化。
3.2 提示词的技巧
提示词的技巧包括但不限于:
- 使用最新的模型以获得最佳效果
- 将指令放在提示符的开头,并使用###或”""来分隔指令和上下文
- 对于所需的上下文、结果、长度、格式、风格等,要尽可能具体、描述和详细
- 通过示例清晰地表达所需的输出格式
- 从零样本开始,然后是少样本,当它们都不起作用,再进行微调减少“蓬松”和不精确的描述
- 不要只是说什么不要做,而是说什么要做
- 特定的代码生成一一使用“引导词”将模型推向特定的模式
3.3 零样本提示(Zero Shot)
零样本提示即用户不提供任务结果相关的示范,直接提示语言模型给出任务相关的回答。
隐私过滤
企业内容个人信息过滤。
system_message
请根据用户的输入,审查个人信息,将涉及个人隐私信息的内容,用【隐私内容】替代,其他内容不做任何更改。
input
彭磊是新裤子乐队的主唱,常驻于北京八大胡同xx四合院,电话是【隐私内容】,其乐队成员有庞宽,赵梦,代表作有《生活因你而火热》、《没有理想的人不伤心》等。
output

数据结构化 大语言模型具备惊人的的零样本能力。 system_message
根据用户输入的创建AWS EC2的实例请求,生成JSON文件。
提取用户对话中提到的实例的区域,实例类型,磁盘大小。
input
创建一台us-east-1区域,实例类型为t2.micro的,磁盘大小为50G的AWS EC2 实例。
output


更多提示 system_message
根据用户输入的创建AWS EC2的实例请求,生成JSON文件。提取用户对话中提到的实例的区域,实例类型,磁盘大小。
如果用户输入不足以创建AWS EC2 实例,不要生成Json,进行追问,直到可以生成为止。
input
创建一台us-east-1区域,实例类型为t2.micro的AWS EC2 实例。
output

3.4 少样本提示(Few Shot)
当零样本不起作用时,建议在提示中提供演示或示例,这就引出了少样本提示。
用户举例。
创建一台us-east-1区域,实例类型为t2.micro的,磁盘大小为50G的AWS EC2 实例。
{
"region": "us-east-1",
"InstanceType": "t2.micro",
"diskSize": "50G"
}

output

3.5 链式思考提示(CoT)
链式思考(CoT) 提示通过中间推理步骤实现了复杂的推理能力,可以将其与少样本提示相结合,以获得更好的结果,以便在回答之前进行推理的更复杂的任务。


最近提出来的有零样本CoT,它基本上涉及将“让我们逐步思考”添加到原始提示中。让我们尝试一个简单的问题,看看模型的表现如何:

这个简单的提示在这个任务中非常有效。这在您没有太多示例可用于提示时特别有用。
那么,如何系统的去学习大模型LLM?
作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
为什么要学习大模型?
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。


👉大模型学习指南+路线汇总👈
我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
更多推荐




所有评论(0)