使用教程

用 Ollama 在本地跑开源模型:断网也能聊,隐私数据不出本机

酷越AI2026-09-274 分钟

处理合同、病历、内部数据时,很多人会犹豫:把内容贴给云端模型,安全吗?这篇教程用 Ollama 在你自己的电脑上跑一个开源模型,断网也能聊,数据全程不离开本机,适合对隐私敏感的场景。

准备清单:一台装了 Windows 或 macOS 的电脑(8G 以上内存更顺)、Ollama 安装包(官网下载)、一点命令行基础(不用深)。模型我们选轻量好用的开源版本,比如 DeepSeek 或 Qwen 的小尺寸版。

第一步,安装并启动 Ollama。装完在终端敲这条验证环境:

ollama --version

预期结果:终端回显一个版本号,说明装好了。常见报错:提示命令找不到,多半是安装后没重启终端,重开一个再试即可。

第二步,拉取并运行一个模型。以一个小尺寸版为例:

ollama run deepseek-r1:7b

为什么这么填:7B 这类尺寸在普通笔记本上跑得动,速度和质量平衡得不错;名字里的"r1"是具体版本,按 Ollama 库里的标签填。首次会自动下载,耐心等几分钟。预期结果:下载完直接进入对话,可以问它"用一句话解释什么是向量数据库"。

第三步,把常用模型设为默认,或搭配一个本地界面(如 Ollama 自带的 Web 或第三方前端)使用。预期结果:以后打开就能聊,断网照样回答你的本地问题。

顺手学两个日常管理命令会省很多事:用"ollama list"看本机装了哪些模型、"ollama rm 模型名"删掉不用的,避免几个大模型把硬盘占满。还有一点要心里有数——"数据不出本机"指的是你和模型的对话留在本地;如果你后续把模型接进某个联网的前端或插件,那条链路就得单独看它的隐私说明,别想当然。

效果与验收:成功的标志是——你问一个涉及私密数据的问题,答案正确且全程没联网。如果跑得卡,换更小的尺寸(如 1.5B)或关掉其他占用内存的程序。

进阶方向:需要更多模型去 Hugging Face 这类社区挑,Ollama 能直接拉;也可以把本地模型接进你自己的小工具,做完全离线的私人助手。本站收录的 DeepSeek、通义千问、Qwen 都有可本地运行的版本。

相关工具文中提到的工具,点开看详情与使用教程

相关工具:DeepSeekQwen (通义系列)Hugging Face
标签:
AK

酷越AI

专注AI工具评测与使用指南,帮你发现最好用的AI产品。

RELATED READS
相关阅读
端侧 AI 迎来 NPU 普及潮:普通笔记本本地跑大模型不再是发烧友专利 开源小模型逆袭:3B 参数在特定任务追平大模型,"够用就好"成了新共识 推荐常逛:机器之心,国内 AI 资讯里少有的"既快又敢深" 推荐常逛:BAIR Blog,伯克利 AI 研究的"一手田野" 推荐常逛:MarkTechPost,把论文和工业进展翻译成从业者能跑的语言
返回首页·全部文章