"4 核 4G 的轻量服务器，能跑 AI 应用吗？"这是 38 元活动出来之后被问得最多的问题之一。答案不是能或不能，而是"跑多大的模型"。这篇给一份实测清单，按步骤走完你就知道边界在哪。
第一步，确认系统资源。SSH 登录后执行：
free -h && nproc && df -h
做完应该看到：内存约 3.8G 可用、4 核 CPU、系统盘剩余空间。注意 Linux 会占掉一部分内存，实际能给应用用的通常只有 3G 出头。
第二步，装 Docker 和 Ollama。
curl -fsSL https://get.docker.com | sh docker run -d --name ollama -p 11434:11434 -v ollama:/root/.ollama ollama/ollama
做完应该看到：docker ps 里 ollama 容器状态 Up。这一步不占多少内存，跑不起来通常是镜像拉取慢，换国内源即可。
第三步，从 3B 量化模型开始试。
docker exec -it ollama ollama run qwen2.5:3b
做完应该看到：模型下载完成后出现对话提示符，随便问一句能正常回复。观察 free -h，内存占用应在 2-2.5G 左右。3B 量化模型是 4G 内存的甜点区，日常问答、简单写作够用。
第四步，挑战 7B 模型并观察内存。
docker exec -it ollama ollama run qwen2.5:7b
做完应该看到：能加载但明显变慢，内存接近打满，系统开始用 swap。如果 swap 使用量持续上涨，说明已经越界，长时间跑会拖垮整机——7B 在 4G 内存上属于"能跑但不建议常驻"。
第五步，判断升级时机。看三个信号：swap 持续占用、请求响应超过 30 秒、OOM 日志出现。做完应该看到：一个明确的结论——只跑 3B 就继续用 4G；要常驻 7B 或跑 RAG 知识库，升到 8G 内存更实际。RAG 场景尤其吃内存，向量库加模型两头占，4G 基本没有余量。
一位做内部知识库的读者试过同样的事：他把 200 页产品文档塞进本地 RAG，3B 模型检索能跑，但每次问答要等二十多秒，后来把推理换成云端 API、轻量服务器只跑向量检索和界面，响应降到三秒内，还省了升配的钱。
给一个务实建议：把轻量服务器当成"AI 应用的入口"而不是"AI 算力的全部"，模型推理交给云端 API、轻量服务器负责编排和界面，这种组合在成本和体验上往往更平衡。真想本地跑，就从 3B 开始，别一上来就挑战硬件极限。
如果只是想体验一下本地模型，用完记得执行 docker stop ollama，否则它会一直占着内存不放，4G 的机器经不起这样常驻。