前言

        在上篇内容我们成功的快速上手了openai，但作为一个资深的赛博手艺人用户显然不会满足于单纯的调用各大企业提供的云端模型服务，相信带你开这篇文章的你也是如此吧？那么，本篇文章将会手把手教你如何在本地成功的部署运行大模型（零基础也可使用！）（鼓掌鼓掌）！

        本文使用的是win11操作系统。

Ollama 

ollama介绍

        ollama是一个轻量的开源的本地大模型运行框架，核心价值是让我们一条命令就可以下载 / 使用本地大模型，而不用去费劲折腾复杂的依赖和环境配置。

        除此之外，它还兼容Openai的接口，因此我们也可以通过openai来接入ollama上的模型，非常适合我们上手使用 官网下载：Download Ollama on Windows。

安装教程

        下载好安装包后注意！我就差点在这翻车，ollama的默认下载路径被设置在了C盘，且一旦开始安装不支持修改路径！因此你需要通过下面两个步骤进行安装。

1.  直接右键 OllamaSetup.exe 选择 "在终端中打开" 或者 sheft + 右键 选择 "在powershell窗口   中打开" ，进入与安装程序同一个目录的盘符位置 （如下图所示），或者你也可以在命令行中，通过cd 命令来直接切换盘符到安装包所在位置。
   
   
2. 在当前位置下输入命令 （如果想下载到其他位置，自行修改绿色路径部分即可）

   .\OllamaSetup.exe /DIR="D:\Ollama"

        稍等片刻，我们就可以把ollama安装到其它盘，从而避免浪费紧张的C盘。（ollama大小将近5g，我的C盘无福消受）

     3.创建快捷方式 ：选中后右键 "ollama app.exe" 文件，选择 "显示更多选项" ，在弹出的界面选择 "创建快捷方式"，将新建的快捷方式拖到桌面即可。

使用方法

1.可视化页面操作

        之前ollama只能通过命令行操作，一运行跳出一个乌漆嘛黑的界面叫人苦不堪言，虽然现在还是以命令行为主，但ollama新增的可视化页面无疑简化了一部分操作，让我们更好上手使用。

更改模型安装路径

        既然是在本地运行，那我们第一步肯定是下载，但亲切的ollama将模型保存默认路径设置在了C盘，加之以一个模型动辄好几g的储存占用，我们第一步得先把模型路径换过去。

1. 首先我们需要回到桌面，双击启动刚刚创建的快捷方式，点击左上角的 Settings 进入设置页面

   ---

   
2. 点击 "Model location" 下方的 "Browse" ，在你的电脑中找到你想放置模型的文件夹 （这里我建议就放在 ollama 附件的文件夹，方便查询）即可。

模型选择

        ollama提供了通过cmd 命令行指令进行操作，以及可视化页面操作两种方式，因此下载模型也对应着这两种方式。如果你只是想体验尝新，掌握可视化页面操作即可，但如果是想深入使用，我更推荐后续介绍的下载方法，下载起来更快，体验更好，机魂大悦！。

        在正式的下载模型之前让我先给你介绍一下模型选择部分。
        ollama 官网提供了许多模型的选择 (网址:Ollama)，你可以在上方的搜索栏中搜索你想要的模型，无论是DeepSeek-R1 还是 Qwen3.5系列都能在这里找到。但是作为个人本地使用，我们的电脑是绝对运行不起满血版大模型的，因此我们要选择适当的蒸馏版本，来保证运行速度和模型质量。

        先来查看一下你的电脑配置情况，同时按住 ctrl + shift + esc 进入任务管理器，点击左侧的 "性能" 模块，查看GPU的信息（如图），我们重点关注的是最下面显示的 "专用GPU内存" 的数值。由于模型的运行主要占用的是GPU的算力，因此专用内存的数值就决定了你能快乐使用模型的上限。这里我的内存为8G（呜呜呜~我是老百姓）。

        接着我们就着这张表计算一下模型的使用，模型运行时的内存占用可以看作
（模型参数 × 模型精度 × 开销系数 ÷ 1024**3）而模型参数是.......看到这一串丑陋的计算是不是头要晕了？俺也一样！详细介绍这些东西的话又会占用不少时间，因此我直接我给你一个更加简洁的估算公式。
        图中的 size （同时也是下载所占用的储存）可以近似当作 （模型参数 × 模型精度 ÷ 1024**3）的值，开销系数可以估算为1.2或1.3。因此假设你使用的是 qwen3:8b 模型（我的同款哦~），实际运算时占用的内存就为 [ 5.2×1.3=6.76 ] ，我的内存为8g，扣除电脑运行隐形占用的0.5，实际可用 0.75 > 6.76，运行起来绰绰有余，因此这个模型我就可以使用。用这个公式去找到你心仪的模型就可以开始下一步啦！

模型下载

        把你喜欢的模型名字复制下来，在 ollama 页面右下角的模型选择框内 粘贴，查找（如图），选中之后，直接发送一条信息过去，ollama就会开始帮你下载，由于这是外网下载，下载速度偏慢，耐心等待之后，就可以愉快的聊天啦。

        

cmd 命令行操作

        使用可视化页面操作固然简单，但不够帅可用功能受限，且使用起来不够灵活，因此我推荐还是学一点命令行操作比较好。

        win + r 输入 cmd 打开命令行，输入以下命令，就可以查看官方提供的指令手册（如图），其中我们重点掌握的是 serve、show、run、pull、stop、list、ps、rm 的使用方法，看起来很多是不是？不过请你放宽心~这些指令用法都很简单，忘记了有哪些命令，也可以 "ollama help"进行查看，用多了你就会觉得，还是命令行方便！

ollama help

命令使用

ollama serve

        如果之前有开启ollama，先关闭，在命令行中输入 "ollama serve"，一大串字符过后ollama就启动完毕，此时当前命令行就会变成ollama的运行终端，保持这个窗口就行。接着点击上方加号新开一个powershell，我们就在这个窗口内进行操作。

ollama list

        命令行中输入"ollama list"就可以查看你拥有的模型有哪些（如图），于是我们就可以在这里直接复制模型名字便于后面使用，而不是苦兮兮的用手打（好累的...）。

ollama show model

        命令行中输入 "ollama show 模型名称"就可以查看对应模型的各类参数（如图）。

ollama run model

        命令行中输入 "ollama run 模型名称" 就可以运行对应模型（如图），如果要切换出当前对话，按ctrl + d 即可。

ollama ps

        命令行中输入 "ollama ps" 即可查看当前运行的所有模型，前面提到的ctrl + d 只是切换出当前对话，而不是退出，因此如果你有一个个指令跟着来的话，会发现刚刚的模型其实还在运行。

ollama stop model

        命令行中输入 "ollama stop 模型名称" ，就可以停止运行对应模型，每次打开后要记得关于哦（温馨提示，关闭不会有任何显示，你可以使用前面提到过的指令查看，突击检查！）。

ollama stop qwen3:8b

ollama rm model

        命令行中输入 "ollama rm 模型名称" ，就可以删除对应模型，ollama 放模型的文件夹里不要随便删，都是经过 ollama 独家配置好的，删除可能会出大问题....(血的教训)。删除之后你可以通过前面提到过的命令进行查看，检查是否真的删除了（突击检查！！）。

ollama pull model

        命令行中输入 "ollama pull model"，就可以下载对应模型，如果下着下着发现变慢了，你可以ctrl + c 打断，然后再输入一遍指令继续下载，这样就可以更快（图中仅做演示，实际下载不需要断的这么平凡）。临时文件 ollama 会定时清理，因此不用担心。

ollama接入python

        学会了ollama的使用方法，接下来我们就要尝试把 ollama 上的大模型接入python，让我们能够通过 python 使用本地模型。

        相对于上一篇文章，ollama 接入pycharm主要改动其实是url接口 "http://localhost:11434/v1" （如图）这段url是 ollama 默认的端口号，可以接入ollama。另一个改动是对于流式输出进行的改动，使用了更为方便的 getattr()  进行属性的获取。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1"
)

res = client.chat.completions.create(
    model="qwen3:8b",
    messages=[
        {"role": "system", "content": "你是一个面冷但心热的老师，话不多"},
        {"role": "user", "content": "老师好"},
        {"role": "assistant", "content": "嗯,进来,坐。手怎么这么凉？"},
        {"role": "user", "content": "老师好！"}
    ],
    extra_body={"enable_think": True},
    stream=True
)



for chunk in res:
    content = chunk.choices[0].delta
    thinking = getattr(content, "reasoning_content", None)
    text = getattr(content, "content", None)
    if thinking:
        print(thinking,
              end='',
              flush=True)
    if text:
        print(text,
              end='',
              flush=True)

结尾

        本篇文章到这里就差不多啦！恭喜你，现在的你已经成功从"云端乞丐"晋级为"本地部署大佬"，拥有了真正属于自己的AI小助手。看着那个不再漆黑一片的终端窗口，是不是觉得这波折腾血赚不亏？

        从防C盘爆掉的安装技巧，到算出自己显卡能扛住几B模型的玄学公式，再到最后成功用Python把模型驯服成生产力工具——这一路下来，你的电脑终于不再是冰冷的铁盒子，而是住进去了一个（时不时可能有点话痨的）赛博灵魂。

如果这篇教程帮你少踩了几个坑，拯救了你的C盘空间，或者让你在朋友面前成功装到了展示到了技术力，那就别忘了给辛苦码字的我一点正反馈：

👍 点个赞 —— 让机魂大悦，算力爆棚
⭐ 收藏一下 —— 防止下次重装系统时抓瞎，毕竟OLLAMA那默认C盘路径谁用谁心梗
💬 评论留言 —— 让我看看有多少人和我一样是被C盘逼上梁山，或者算显存时差点把计算器按冒烟的

        下篇文章，我将会把 从huggingface官网到镜像网站下载模型的探索 分享给大家，祝各位生活愉快。