在人工智能和深度学习领域,模型推理是一个至关重要的环节。随着模型规模的增大和计算需求的提升,如何在本地环境中高效部署和运行模型成为了许多开发者和技术爱好者的关注点。Deepseek 是一个专注于高性能推理的框架,而 Ollama 是一个简单易用的工具,能够帮助我们在本地环境中快速部署和运行模型。

1. 为什么要本地部署 Deepseek?

1.1 数据隐私与安全

  • 数据隐私:在本地部署模型可以避免将敏感数据传输到云端,确保数据隐私。
  • 安全性:本地部署减少了网络攻击的风险,适合处理高安全性要求的任务。

1.2 低延迟与高性能

  • 低延迟:本地部署消除了网络传输的延迟,特别适合实时推理任务(如视频处理、实时翻译等)。
  • 高性能:本地硬件资源可以完全用于模型推理,无需与其他用户共享。

1.3 成本控制

  • 节省云服务费用:本地部署避免了按需付费的云服务成本,适合长期运行的场景。
  • 硬件利用率高:可以充分利用现有的硬件资源,避免资源浪费。

1.4 灵活性与可控性

  • 完全控制:本地部署允许你完全控制模型的运行环境和配置。
  • 快速迭代:可以随时修改和优化模型,无需依赖外部服务。

2. 本地部署的好处

  • 快速启动:无需复杂的云服务配置,直接在本地运行模型。
  • 易于调试:本地环境便于调试和优化模型。
  • 离线运行:无需网络连接,适合在无网络或网络不稳定的环境中使用。

3. 使用 Ollama 部署 Deepseek

Ollama 是一个简单易用的工具,能够帮助我们在本地环境中快速部署和运行模型。以下是详细的部署步骤:

3.1 环境准备

  • 操作系统:支持 Linux 和 macOS(Windows 用户可以使用 WSL)。
  • 硬件要求
    • CPU:支持 AVX2 指令集的现代处理器。
    • 内存:至少 8GB RAM。
    • 存储:至少 10GB 可用空间。

3.2 安装 Ollama

  1. 打开浏览器,Download Ollama on macOS

2、选择对应的系统点击下载

3、点击安装,全部默认安装即可

3.3 下载 Deepseek-R1 模型

  1. 使用 Ollama 搜索 Deepseek-R1 模型:

  1. 选择不同的版本的模型

参数规模与模型能力

参数规模(B = Billion/十亿)代表模型的复杂度和学习能力,参数越多,通常理解和生成能力越强。

• 1.5B - 14B:轻量级模型,适合基础任务(文本生成、简单问答)。

• 32B - 70B:中等规模,平衡性能与资源消耗,适合复杂任务(逻辑推理、代码生成)。

• 1.5B:CPU最低4核,内存8GB+,硬盘icon3GB+存储空间,显卡icon非必需,若GPU加速可选4GB+显存,适合低资源设备部署等场景。

• 7B:CPU 8核以上,内存16GB+,硬盘8GB+,显卡推荐8GB+显存,可用于本地开发测试等场景。

• 8B:硬件需求与7B相近略高,适合需更高精度的轻量级任务。

• 14B:CPU 12核以上,内存32GB+,硬盘15GB+,显卡16GB+显存,可用于企业级复杂任务等场景。

• 32B:CPU 16核以上,内存64GB+,硬盘30GB+,显卡24GB+显存,适合高精度专业领域任务等场景。

• 70B:CPU 32核以上,内存128GB+,硬盘70GB+,显卡需多卡并行,适合科研机构等进行高复杂度生成任务等场景。

3、下载模型

等等一段时间后。。。下载成功

开始使用模型。。。。

3.4 二次运行 Deepseek 模型

  1. 使用以下命令启动 Deepseek 模型:
ollama run deepseek-r1:1.5b
  1. 模型启动后,你可以通过命令行与模型交互。例如,输入一段文本进行推理:
> 输入文本:你好,Deepseek!
> 输出结果:你好!有什么我可以帮助你的吗?

3.5 配置与优化

  • 调整线程数:可以通过环境变量设置推理线程数,以优化性能:
export OLLAMA_NUM_THREADS=4
ollama run deepseek
  • 启用 GPU 加速(如果可用):
export OLLAMA_GPU=1
ollama run deepseek

4.使用 Deepseek 进行文本生成

以下是一个简单的文本生成示例:

  1. 启动 Deepseek 模型:
ollama run deepseek-r1:1.5b
  1. 输入提示文本:
> 输入文本:写一段关于人工智能的未来展望。
> 输出结果:人工智能的未来充满了无限可能。随着技术的不断进步,AI 将在医疗、教育、交通等领域发挥重要作用,为人类带来更高效、更智能的生活体验。

5.安装 Deepseek WebUI 界面

谷歌浏览器的 Page Assist 插件是一款功能强大的工具,能够帮助开发者快速构建和优化 Web 界面。如果你正在使用 Deepseek 进行深度学习模型的推理,并希望通过 WebUI 界面展示和交互,Page Assist 插件将是一个理想的选择。

1. 什么是 Page Assist 插件?

Page Assist 是一款谷歌浏览器扩展程序,主要用于:

  • 网页元素检查与调试:快速定位和修改网页元素。
  • 性能优化:分析网页加载性能,提供优化建议。
  • 自动化测试:支持自动化脚本录制与回放。
  • 自定义界面开发:为 Web 应用提供灵活的界面定制功能。

对于 Deepseek 的 WebUI 界面开发,Page Assist 可以帮助你快速调试和优化界面,提升用户体验。

2. 安装 Page Assist 插件

2.1 通过谷歌应用商店安装
  1. 打开谷歌浏览器,访问 Chrome 网上应用店
  2. 在搜索框中输入 Page Assist,然后按下回车。
  3. 找到 Page Assist 插件,点击“添加到 Chrome”按钮。
  4. 在弹出的确认对话框中,点击“添加扩展程序”。
  5. 安装完成后,Page Assist 图标会出现在浏览器右上角的扩展程序栏中。
2.2 手动安装(适用于无法访问谷歌应用商店的用户)
  1. 下载 Page Assist 插件的 CRX 文件(可以从第三方插件网站获取)。
  2. 打开谷歌浏览器,进入扩展程序管理页面:
    • 在地址栏输入 chrome://extensions/,然后按下回车。
  1. 启用“开发者模式”:
    • 在页面右上角,打开“开发者模式”开关。
  1. 拖拽下载的 CRX 文件到扩展程序页面,完成安装。

3. 配置 Page Assist 插件

3.1 启用插件

  1. 点击浏览器右上角的扩展程序图标,找到 Page Assist。
  2. 点击图标,打开插件界面。
  3. 在插件界面中,点击“启用”按钮。
3.2 设置快捷键
  1. 进入扩展程序管理页面(chrome://extensions/)。
  2. 找到 Page Assist 插件,点击“详细信息”。
  3. 在“快捷键”选项中,为 Page Assist 设置一个方便的快捷键(如 Ctrl+Shift+P)。
3.3 使用UI界面

Logo

这里是“一人公司”的成长家园。我们提供从产品曝光、技术变现到法律财税的全栈内容,并连接云服务、办公空间等稀缺资源,助你专注创造,无忧运营。

更多推荐