本地跑一个:Ollama + 开源权重
断网也能用、数据不出门、一分钱不花——把 AI 请回家
到目前为止,你用的一直是「别人家的水」——不管网页版还是 API,你的每句话都要跑一趟 DeepSeek 的服务器。
但还记得 d0.1 说的吗?DeepSeek 是 MIT 开源的——菜谱是公开的。这意味着一件很酷的事:你可以把一个 AI 装进自己的电脑。断网能用、聊的内容不出家门、聊多久都不要钱。这一节就干这个。
先泼冷水:你家跑不动「本尊」,但能请到「徒弟」
真正的 V4 本尊是数据中心级的庞然大物,家用电脑伺候不起——就像名厨食堂的主厨,你请不回家。
但你请得起主厨的徒弟:社区把大模型的本事「蒸馏」进小模型,再用「量化」手段压缩体积。手艺是真传的,功力按你家厨房的大小(显存)挑:厨房小请个机灵学徒,厨房大请个大师兄。
先把期望校准:徒弟不如本尊聪明,日常难题该问云端还是问云端。那本地版图什么?四件事:
- 隐私:合同、病历、日记这类不想给任何云端的材料,只有本地敢喂;
- 断网可用:飞机上、无网环境照常干活;
- 零成本管够:随便造,跑一万次也不花一分钱——拿来做实验最合适;
- 祛魅:亲手跑过一个模型,你对 AI 的理解会上一个台阶。
实操:三步把徒弟请回家
第一步:装 Ollama。它是本地跑模型的「管家软件」,去 ollama.com 下载安装,Windows / Mac 都有。
第二步:挑一个模型。去 Ollama 官网的模型库搜 deepseek,会看到一排版本,名字里的 7b、8b、14b 就是徒弟的功力(参数量)。经验法则:
| 你的显存 | 建议挑 |
|---|---|
| 8GB 上下 | 7b / 8b 级 |
| 16GB 上下 | 14b 级 |
| 更小 / 不确定 | 把电脑配置发给 DeepSeek,让它替你选 |
没错,最后一行还是甲方姿势:「我的电脑是【型号/内存/显卡】,想用 Ollama 本地跑一个 DeepSeek 系的模型,帮我选个合适的版本,给出要执行的命令。」
第三步:跑起来。打开终端(不熟终端?让 DeepSeek 教你打开),输入 ollama run 加上模型名,第一次会先下载模型(几个 GB,耐心),然后——你就在命令行里和一个住在你电脑里的 AI 聊上了。试试拔掉网线再问它一句。
彩蛋:给徒弟也配上图形界面
命令行聊天糙了点?还记得 d3.3 的万能三件套吗——Ollama 在本地也开了一个 OpenAI 兼容接口。打开 Cherry Studio,在模型服务里添加 Ollama(地址是本机 localhost,不用 Key),你的本地小模型就住进了和云端 V4 同一个客户端。一边是免费的家养徒弟,一边是按量计费的云端主厨,随手切换着用。
- 警惕「笔记本轻松跑满血 DeepSeek」的标题党——满血版要数据中心级硬件,这类文章不是蹭流量就是拿蒸馏版偷换概念。现在你懂行了;
- 小模型幻觉更多。功力浅的徒弟更爱不懂装懂,d1.4 的防幻觉三板斧在本地要抓得更紧,重要事实一律云端复核;
- 下载和磁盘:模型动辄几个 GB,流量套餐和硬盘空间先看一眼;跑的时候风扇起飞是正常的。
- 本尊请不动,徒弟请得起:蒸馏+量化小模型,显存多大请多大
- 本地版的价值:隐私、断网可用、零成本实验、亲手祛魅
- 三步:装 Ollama → 模型库挑 deepseek(拿不准让 AI 按配置荐)→ ollama run
- 彩蛋:Ollama 也是 OpenAI 兼容接口,Cherry Studio 里本地云端一站切换
