处理合同、病历、内部数据时,很多人会犹豫:把内容贴给云端模型,安全吗?这篇教程用 Ollama 在你自己的电脑上跑一个开源模型,断网也能聊,数据全程不离开本机,适合对隐私敏感的场景。
准备清单:一台装了 Windows 或 macOS 的电脑(8G 以上内存更顺)、Ollama 安装包(官网下载)、一点命令行基础(不用深)。模型我们选轻量好用的开源版本,比如 DeepSeek 或 Qwen 的小尺寸版。
第一步,安装并启动 Ollama。装完在终端敲这条验证环境:
ollama --version
预期结果:终端回显一个版本号,说明装好了。常见报错:提示命令找不到,多半是安装后没重启终端,重开一个再试即可。
第二步,拉取并运行一个模型。以一个小尺寸版为例:
ollama run deepseek-r1:7b
为什么这么填:7B 这类尺寸在普通笔记本上跑得动,速度和质量平衡得不错;名字里的"r1"是具体版本,按 Ollama 库里的标签填。首次会自动下载,耐心等几分钟。预期结果:下载完直接进入对话,可以问它"用一句话解释什么是向量数据库"。
第三步,把常用模型设为默认,或搭配一个本地界面(如 Ollama 自带的 Web 或第三方前端)使用。预期结果:以后打开就能聊,断网照样回答你的本地问题。
顺手学两个日常管理命令会省很多事:用"ollama list"看本机装了哪些模型、"ollama rm 模型名"删掉不用的,避免几个大模型把硬盘占满。还有一点要心里有数——"数据不出本机"指的是你和模型的对话留在本地;如果你后续把模型接进某个联网的前端或插件,那条链路就得单独看它的隐私说明,别想当然。
效果与验收:成功的标志是——你问一个涉及私密数据的问题,答案正确且全程没联网。如果跑得卡,换更小的尺寸(如 1.5B)或关掉其他占用内存的程序。
进阶方向:需要更多模型去 Hugging Face 这类社区挑,Ollama 能直接拉;也可以把本地模型接进你自己的小工具,做完全离线的私人助手。本站收录的 DeepSeek、通义千问、Qwen 都有可本地运行的版本。