南北阁Nanbeige 4.1-3B与Dify集成教程:快速构建AI智能体应用
南北阁Nanbeige 4.1-3B与Dify集成教程:快速构建AI智能体应用
想试试用最新的开源大模型来做个自己的AI小助手吗?比如,让它帮你写写周报、分析一下数据,或者当个智能客服?今天咱们就来聊聊,怎么把部署在星图GPU平台上的南北阁Nanbeige 4.1-3B模型,和那个特别火的低代码AI开发框架Dify给“撮合”到一起。
你可能听说过Dify,它能让不懂太多代码的人也能搭出像模像样的AI应用。而南北阁Nanbeige 4.1-3B是一个挺不错的开源模型,能力均衡,对中文支持也好。把它们俩结合起来,你就能在图形化界面上拖拖拽拽,快速做出一个专属的智能体应用,无论是内部工具还是对外服务,都变得简单多了。
这篇教程,我就带你走一遍完整的流程。从怎么在Dify里配置好咱们的模型,到设计一个简单的工作流,再到最后发布成一个能分享给别人的应用。整个过程,咱们尽量用大白话讲清楚,保证你跟着做就能出效果。
1. 前期准备:模型与平台
在开始“搭积木”之前,咱们得先把最重要的两块“积木”准备好:一个是已经跑起来的模型服务,另一个就是Dify的开发环境。
1.1 获取模型API访问点
首先,你得确保南北阁Nanbeige 4.1-3B模型已经在星图GPU平台上成功部署并运行起来了。这个过程在星图镜像广场通常能找到一键部署的镜像,非常方便。部署成功后,最关键的是拿到模型的API访问地址(Endpoint)。
这个地址看起来通常像这样:http://你的服务器IP:端口/v1。请务必记下这个完整的URL,包括端口号和后面的/v1路径,待会儿在Dify里配置时会用到。同时,你也需要准备好API密钥,如果部署时设置了的话。
1.2 部署或访问Dify
接下来是Dify。你有两个选择:
- 云端托管版:直接访问Dify的官方网站,注册账号即可使用。这是最快的方式,适合个人体验和快速原型开发。
- 本地/私有化部署:如果你对数据隐私或网络环境有要求,可以从GitHub拉取Dify的源码进行自部署。官方提供了详细的Docker部署脚本,通常几条命令就能搞定。
无论哪种方式,确保你能正常登录到Dify的工作台界面。它的界面比较清爽,主要功能都在左侧的导航栏里。
2. 在Dify中配置南北阁模型
好了,两边都准备好了,现在就让它们“认识”一下。我们需要在Dify里,把咱们的南北阁模型添加为一个可用的模型供应商。
2.1 添加自定义模型供应商
登录Dify后,点击左下角的“设置”图标(通常是一个齿轮形状),然后找到“模型供应商”或“Model Providers”选项。
在模型供应商页面,你会看到Dify已经预置了像OpenAI、Anthropic等很多选项。我们需要点击“添加模型供应商”或“Add Model Provider”,然后选择 “自定义模型” 或 “Custom Model” 这一类。
这时,系统会要求你填写一个表单,关键信息有这么几项:
- 供应商名称:你可以起个容易记的名字,比如“星图-Nanbeige”。
- 模型类型:选择“文本生成”或“LLM”。
- API端点:这里就填入你刚才记下的那个完整地址,
http://你的服务器IP:端口/v1。 - API密钥:如果模型部署时不需要密钥,这里可以留空;如果需要,就填入对应的密钥。
填写完成后,保存这个供应商配置。Dify会去测试一下连接是否通畅,如果显示成功,那么最基础的一步就完成了。
2.2 配置具体的模型
添加了供应商,还得告诉Dify具体用哪个模型。在同一个“模型供应商”设置里,找到你刚添加的“星图-Nanbeige”,点击进入详情或配置。
这里需要配置模型本身的信息:
- 模型名称:填写
nanbeige-4.1-3b(具体名称请根据你部署的模型版本确定)。 - 模型ID:通常和模型名称保持一致即可,比如
nanbeige-4.1-3b。 - 上下文长度:根据南北阁4.1-3B模型的实际能力填写,例如
8192。这个数决定了模型一次能处理多长的对话。
配置好后,保存模型。现在,你的Dify就具备了调用南北阁模型的能力了。
3. 构建你的第一个AI智能体应用
模型配置好了,咱们来点好玩的——实际创建一个应用。Dify的核心是“工作流”,我们可以用可视化的方式把AI处理逻辑搭出来。
3.1 创建应用与选择起点
在Dify工作台,点击“创建应用”,选择“工作流”类型。给应用起个名字,比如“智能周报助手”。
进入工作流画布后,你会看到一个空的起点。从左侧的节点库中,拖一个 “开始” 节点到画布上。这个节点代表用户输入。你可以双击它,给它设置一个变量名,比如 user_input,代表用户提出的问题。
3.2 设计核心工作流
一个最简单的问答流程,只需要两个核心节点:
- LLM节点:从左侧拖一个“大语言模型”节点到画布,并用连接线将它连接到“开始”节点后面。
- 回答节点:再拖一个“回答”节点,连接到LLM节点后面。
现在配置LLM节点:
- 点击这个节点,在右侧配置面板的“模型”下拉框中,你应该能看到我们刚才配置的“星图-Nanbeige / nanbeige-4.1-3b”,选择它。
- 在“系统提示词”区域,输入你希望模型扮演的角色。比如:
你是一个高效的办公助手,擅长将零散的工作事项总结成结构清晰、语言专业的周报。请根据用户提供的工作点滴,生成一份包含【本周工作完成情况】、【遇到的问题与解决方案】、【下周工作计划】三个部分的周报。 - 在“上下文变量”区域,将
user_input这个变量映射到“用户问题”的输入框里。这样,用户说的话就会传给模型。
最后配置回答节点:这个节点通常不需要额外设置,它会自动将LLM节点的输出作为最终结果返回给用户。
3.3 试试效果与调试
点击画布右上角的“预览”按钮,就可以在右侧打开一个聊天测试窗。在输入框里模拟用户输入,比如:“我这周完成了项目A的需求评审,写了设计文档,还修复了两个线上bug。”
点击发送,Dify就会按照工作流执行:将你的输入和系统提示词一起发给南北阁模型,模型生成周报后,结果通过回答节点显示出来。看看生成的周报格式和内容是否符合你的预期。
如果效果不理想,可以调整系统提示词,让它更具体。例如,加上“请使用要点列表的形式”或“语气请正式一些”。Dify的优势就在这里,改提示词比改代码快多了。
4. 进阶:让智能体更“智能”
基础的问答做好了,但一个有用的智能体往往需要更复杂的能力。Dify工作流支持很多高级节点,咱们来看两个常用的。
4.1 集成知识库
如果想让模型回答关于你公司文档、产品手册等特定知识,可以为应用添加知识库。
- 在Dify的“知识库”模块,创建一个新知识库,上传你的PDF、Word或TXT文件。
- 回到工作流画布,在“开始”节点和“LLM”节点之间,插入一个 “知识库检索” 节点。
- 配置这个节点,选择你创建的知识库。它会自动根据用户输入,从文档中找出最相关的片段。
- 将检索到的“内容”,也作为上下文变量传递给LLM节点。同时,你需要修改系统提示词,加入类似“请根据以下提供的参考信息来回答问题:{{#context#}}...”的指令。
这样,模型在回答时就会结合你提供的专业知识,回答的准确性会大大提高。
4.2 使用条件分支
如果你想根据用户的不同意图执行不同操作,可以用“条件判断”节点。 例如,用户输入“写周报”和“查天气”应该触发不同的流程。
- 在“开始”节点后,插入一个 “条件判断” 节点。
- 你可以设置规则,比如:如果
user_input包含“周报”,则流向“周报生成LLM节点”;如果包含“天气”,则流向另一个集成了天气API的工具节点(Dify支持HTTP请求节点)。 - 这样,一个应用就能处理多种类型的任务,变得更像一个真正的智能体。
5. 发布与分享你的应用
应用调试满意后,就可以发布了。
在应用概览页面,找到“发布”或“部署”选项。Dify会为你生成一个独立的访问链接。你可以设置访问权限(公开或需要API密钥),然后将这个链接分享给同事或用户。
他们点开链接,就能看到一个干净的聊天界面,直接使用你构建好的AI智能体,完全不需要知道背后是南北阁模型还是复杂的工作流。你还可以在“API访问”页面找到详细的接口文档,方便你将这个AI能力集成到自己的业务系统或小程序中去。
整个流程走下来,你会发现用Dify来集成像南北阁这样的开源模型,确实大大降低了AI应用开发的门槛。你不用操心API接口的细节,也不用写复杂的后端逻辑,专注在设计提示词和工作流上,就能快速做出有用的东西。
这种模式特别适合产品经理、运营同学,或者想快速验证AI创意的开发者。南北阁4.1-3B模型在中文理解和生成上表现不错,结合Dify的灵活编排,能玩出很多花样,比如智能客服原型、内容创作工具、数据分析助手等等。
当然,刚开始可能会在提示词调试上花点时间,多试几次,看看模型在哪种指令下表现最好。一旦跑通,复制和修改工作流来创建新应用就非常快了。你不妨就从那个“周报助手”开始,动手试试看吧。
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。
更多推荐



所有评论(0)