南北阁Nanbeige 4.1-3B与Dify集成教程:快速构建AI智能体应用

想试试用最新的开源大模型来做个自己的AI小助手吗?比如,让它帮你写写周报、分析一下数据,或者当个智能客服?今天咱们就来聊聊,怎么把部署在星图GPU平台上的南北阁Nanbeige 4.1-3B模型,和那个特别火的低代码AI开发框架Dify给“撮合”到一起。

你可能听说过Dify,它能让不懂太多代码的人也能搭出像模像样的AI应用。而南北阁Nanbeige 4.1-3B是一个挺不错的开源模型,能力均衡,对中文支持也好。把它们俩结合起来,你就能在图形化界面上拖拖拽拽,快速做出一个专属的智能体应用,无论是内部工具还是对外服务,都变得简单多了。

这篇教程,我就带你走一遍完整的流程。从怎么在Dify里配置好咱们的模型,到设计一个简单的工作流,再到最后发布成一个能分享给别人的应用。整个过程,咱们尽量用大白话讲清楚,保证你跟着做就能出效果。

1. 前期准备:模型与平台

在开始“搭积木”之前,咱们得先把最重要的两块“积木”准备好:一个是已经跑起来的模型服务,另一个就是Dify的开发环境。

1.1 获取模型API访问点

首先,你得确保南北阁Nanbeige 4.1-3B模型已经在星图GPU平台上成功部署并运行起来了。这个过程在星图镜像广场通常能找到一键部署的镜像,非常方便。部署成功后,最关键的是拿到模型的API访问地址(Endpoint)

这个地址看起来通常像这样:http://你的服务器IP:端口/v1。请务必记下这个完整的URL,包括端口号和后面的/v1路径,待会儿在Dify里配置时会用到。同时,你也需要准备好API密钥,如果部署时设置了的话。

1.2 部署或访问Dify

接下来是Dify。你有两个选择:

  1. 云端托管版:直接访问Dify的官方网站,注册账号即可使用。这是最快的方式,适合个人体验和快速原型开发。
  2. 本地/私有化部署:如果你对数据隐私或网络环境有要求,可以从GitHub拉取Dify的源码进行自部署。官方提供了详细的Docker部署脚本,通常几条命令就能搞定。

无论哪种方式,确保你能正常登录到Dify的工作台界面。它的界面比较清爽,主要功能都在左侧的导航栏里。

2. 在Dify中配置南北阁模型

好了,两边都准备好了,现在就让它们“认识”一下。我们需要在Dify里,把咱们的南北阁模型添加为一个可用的模型供应商。

2.1 添加自定义模型供应商

登录Dify后,点击左下角的“设置”图标(通常是一个齿轮形状),然后找到“模型供应商”或“Model Providers”选项。

在模型供应商页面,你会看到Dify已经预置了像OpenAI、Anthropic等很多选项。我们需要点击“添加模型供应商”或“Add Model Provider”,然后选择 “自定义模型”“Custom Model” 这一类。

这时,系统会要求你填写一个表单,关键信息有这么几项:

  • 供应商名称:你可以起个容易记的名字,比如“星图-Nanbeige”。
  • 模型类型:选择“文本生成”或“LLM”。
  • API端点:这里就填入你刚才记下的那个完整地址,http://你的服务器IP:端口/v1
  • API密钥:如果模型部署时不需要密钥,这里可以留空;如果需要,就填入对应的密钥。

填写完成后,保存这个供应商配置。Dify会去测试一下连接是否通畅,如果显示成功,那么最基础的一步就完成了。

2.2 配置具体的模型

添加了供应商,还得告诉Dify具体用哪个模型。在同一个“模型供应商”设置里,找到你刚添加的“星图-Nanbeige”,点击进入详情或配置。

这里需要配置模型本身的信息:

  • 模型名称:填写 nanbeige-4.1-3b(具体名称请根据你部署的模型版本确定)。
  • 模型ID:通常和模型名称保持一致即可,比如 nanbeige-4.1-3b
  • 上下文长度:根据南北阁4.1-3B模型的实际能力填写,例如 8192。这个数决定了模型一次能处理多长的对话。

配置好后,保存模型。现在,你的Dify就具备了调用南北阁模型的能力了。

3. 构建你的第一个AI智能体应用

模型配置好了,咱们来点好玩的——实际创建一个应用。Dify的核心是“工作流”,我们可以用可视化的方式把AI处理逻辑搭出来。

3.1 创建应用与选择起点

在Dify工作台,点击“创建应用”,选择“工作流”类型。给应用起个名字,比如“智能周报助手”。

进入工作流画布后,你会看到一个空的起点。从左侧的节点库中,拖一个 “开始” 节点到画布上。这个节点代表用户输入。你可以双击它,给它设置一个变量名,比如 user_input,代表用户提出的问题。

3.2 设计核心工作流

一个最简单的问答流程,只需要两个核心节点:

  1. LLM节点:从左侧拖一个“大语言模型”节点到画布,并用连接线将它连接到“开始”节点后面。
  2. 回答节点:再拖一个“回答”节点,连接到LLM节点后面。

现在配置LLM节点

  • 点击这个节点,在右侧配置面板的“模型”下拉框中,你应该能看到我们刚才配置的“星图-Nanbeige / nanbeige-4.1-3b”,选择它。
  • 在“系统提示词”区域,输入你希望模型扮演的角色。比如:
    你是一个高效的办公助手,擅长将零散的工作事项总结成结构清晰、语言专业的周报。请根据用户提供的工作点滴,生成一份包含【本周工作完成情况】、【遇到的问题与解决方案】、【下周工作计划】三个部分的周报。
    
  • 在“上下文变量”区域,将 user_input 这个变量映射到“用户问题”的输入框里。这样,用户说的话就会传给模型。

最后配置回答节点:这个节点通常不需要额外设置,它会自动将LLM节点的输出作为最终结果返回给用户。

3.3 试试效果与调试

点击画布右上角的“预览”按钮,就可以在右侧打开一个聊天测试窗。在输入框里模拟用户输入,比如:“我这周完成了项目A的需求评审,写了设计文档,还修复了两个线上bug。”

点击发送,Dify就会按照工作流执行:将你的输入和系统提示词一起发给南北阁模型,模型生成周报后,结果通过回答节点显示出来。看看生成的周报格式和内容是否符合你的预期。

如果效果不理想,可以调整系统提示词,让它更具体。例如,加上“请使用要点列表的形式”或“语气请正式一些”。Dify的优势就在这里,改提示词比改代码快多了。

4. 进阶:让智能体更“智能”

基础的问答做好了,但一个有用的智能体往往需要更复杂的能力。Dify工作流支持很多高级节点,咱们来看两个常用的。

4.1 集成知识库

如果想让模型回答关于你公司文档、产品手册等特定知识,可以为应用添加知识库。

  1. 在Dify的“知识库”模块,创建一个新知识库,上传你的PDF、Word或TXT文件。
  2. 回到工作流画布,在“开始”节点和“LLM”节点之间,插入一个 “知识库检索” 节点。
  3. 配置这个节点,选择你创建的知识库。它会自动根据用户输入,从文档中找出最相关的片段。
  4. 将检索到的“内容”,也作为上下文变量传递给LLM节点。同时,你需要修改系统提示词,加入类似“请根据以下提供的参考信息来回答问题:{{#context#}}...”的指令。

这样,模型在回答时就会结合你提供的专业知识,回答的准确性会大大提高。

4.2 使用条件分支

如果你想根据用户的不同意图执行不同操作,可以用“条件判断”节点。 例如,用户输入“写周报”和“查天气”应该触发不同的流程。

  1. 在“开始”节点后,插入一个 “条件判断” 节点。
  2. 你可以设置规则,比如:如果 user_input 包含“周报”,则流向“周报生成LLM节点”;如果包含“天气”,则流向另一个集成了天气API的工具节点(Dify支持HTTP请求节点)。
  3. 这样,一个应用就能处理多种类型的任务,变得更像一个真正的智能体。

5. 发布与分享你的应用

应用调试满意后,就可以发布了。

在应用概览页面,找到“发布”或“部署”选项。Dify会为你生成一个独立的访问链接。你可以设置访问权限(公开或需要API密钥),然后将这个链接分享给同事或用户。

他们点开链接,就能看到一个干净的聊天界面,直接使用你构建好的AI智能体,完全不需要知道背后是南北阁模型还是复杂的工作流。你还可以在“API访问”页面找到详细的接口文档,方便你将这个AI能力集成到自己的业务系统或小程序中去。


整个流程走下来,你会发现用Dify来集成像南北阁这样的开源模型,确实大大降低了AI应用开发的门槛。你不用操心API接口的细节,也不用写复杂的后端逻辑,专注在设计提示词和工作流上,就能快速做出有用的东西。

这种模式特别适合产品经理、运营同学,或者想快速验证AI创意的开发者。南北阁4.1-3B模型在中文理解和生成上表现不错,结合Dify的灵活编排,能玩出很多花样,比如智能客服原型、内容创作工具、数据分析助手等等。

当然,刚开始可能会在提示词调试上花点时间,多试几次,看看模型在哪种指令下表现最好。一旦跑通,复制和修改工作流来创建新应用就非常快了。你不妨就从那个“周报助手”开始,动手试试看吧。

获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

这里是“一人公司”的成长家园。我们提供从产品曝光、技术变现到法律财税的全栈内容,并连接云服务、办公空间等稀缺资源,助你专注创造,无忧运营。

更多推荐