← 返回目录
d4.1实操⏱ 约 10 分钟

本地跑一个:Ollama + 开源权重

断网也能用、数据不出门、一分钱不花——把 AI 请回家

🔎 最后验证 2026-07📚 来源:🧰 Ollama、Cherry Studio(可选)✅ 11 人学过
为什么学这个

到目前为止,你用的一直是「别人家的水」——不管网页版还是 API,你的每句话都要跑一趟 DeepSeek 的服务器。

但还记得 d0.1 说的吗?DeepSeek 是 MIT 开源的——菜谱是公开的。这意味着一件很酷的事:你可以把一个 AI 装进自己的电脑。断网能用、聊的内容不出家门、聊多久都不要钱。这一节就干这个。

先泼冷水:你家跑不动「本尊」,但能请到「徒弟」

💡 打个比方

真正的 V4 本尊是数据中心级的庞然大物,家用电脑伺候不起——就像名厨食堂的主厨,你请不回家。

但你请得起主厨的徒弟:社区把大模型的本事「蒸馏」进小模型,再用「量化」手段压缩体积。手艺是真传的,功力按你家厨房的大小(显存)挑:厨房小请个机灵学徒,厨房大请个大师兄。

先把期望校准:徒弟不如本尊聪明,日常难题该问云端还是问云端。那本地版图什么?四件事:

  1. 隐私:合同、病历、日记这类不想给任何云端的材料,只有本地敢喂;
  2. 断网可用:飞机上、无网环境照常干活;
  3. 零成本管够:随便造,跑一万次也不花一分钱——拿来做实验最合适;
  4. 祛魅:亲手跑过一个模型,你对 AI 的理解会上一个台阶。

实操:三步把徒弟请回家

第一步:装 Ollama。它是本地跑模型的「管家软件」,去 ollama.com 下载安装,Windows / Mac 都有。

第二步:挑一个模型。去 Ollama 官网的模型库搜 deepseek,会看到一排版本,名字里的 7b8b14b 就是徒弟的功力(参数量)。经验法则:

你的显存建议挑
8GB 上下7b / 8b 级
16GB 上下14b 级
更小 / 不确定把电脑配置发给 DeepSeek,让它替你选

没错,最后一行还是甲方姿势:「我的电脑是【型号/内存/显卡】,想用 Ollama 本地跑一个 DeepSeek 系的模型,帮我选个合适的版本,给出要执行的命令。」

第三步:跑起来。打开终端(不熟终端?让 DeepSeek 教你打开),输入 ollama run 加上模型名,第一次会先下载模型(几个 GB,耐心),然后——你就在命令行里和一个住在你电脑里的 AI 聊上了。试试拔掉网线再问它一句。

彩蛋:给徒弟也配上图形界面

命令行聊天糙了点?还记得 d3.3 的万能三件套吗——Ollama 在本地也开了一个 OpenAI 兼容接口。打开 Cherry Studio,在模型服务里添加 Ollama(地址是本机 localhost,不用 Key),你的本地小模型就住进了和云端 V4 同一个客户端。一边是免费的家养徒弟,一边是按量计费的云端主厨,随手切换着用。

⚠️ 避坑
  1. 警惕「笔记本轻松跑满血 DeepSeek」的标题党——满血版要数据中心级硬件,这类文章不是蹭流量就是拿蒸馏版偷换概念。现在你懂行了;
  2. 小模型幻觉更多。功力浅的徒弟更爱不懂装懂,d1.4 的防幻觉三板斧在本地要抓得更紧,重要事实一律云端复核;
  3. 下载和磁盘:模型动辄几个 GB,流量套餐和硬盘空间先看一眼;跑的时候风扇起飞是正常的。
❓ 测验
你的笔记本显存 8GB,想本地跑一个 DeepSeek 系模型。下面哪个做法最靠谱?
✅ 小结
  • 本尊请不动,徒弟请得起:蒸馏+量化小模型,显存多大请多大
  • 本地版的价值:隐私、断网可用、零成本实验、亲手祛魅
  • 三步:装 Ollama → 模型库挑 deepseek(拿不准让 AI 按配置荐)→ ollama run
  • 彩蛋:Ollama 也是 OpenAI 兼容接口,Cherry Studio 里本地云端一站切换
下一节 → 家里有了 AI,下一步给它配个「书房」:把你的资料建成知识库,让它回答你自己的事——这也是通往智能体的第一级台阶。
智图软件的赞赏码
都看到这了,打个赏呗!
接下来 · d4.2
建个人知识库:极简 RAG
继续读下一节 →