大家聊 AI，眼睛都盯着云端那些几百亿上千亿参数的大模型。但真正开始"赚钱"的 AI，有不少正悄悄跑在你看不见的地方——工厂的工控机、汽车的座舱芯片、超市的收银终端。它们用的不是巨无霸模型，而是几亿到几十亿参数的开源小模型，这个趋势叫"边缘 AI"，它的拐点比很多人以为的近。
为什么是小模型、在边缘？因为很多场景有三个硬约束：不能断网（工厂内网隔离）、不能慢（产线检测要毫秒级）、不能把数据传出去（客户信息、工艺参数涉密）。云端大模型三条全违。而经过量化和蒸馏的开源小模型，比如 Llama、Qwen 的轻量版，能在普通 CPU 甚至单片机级别的芯片上跑出够用的效果，把 AI 真正嵌进物理世界的设备里。
一家做零配件的小厂，产线上装了台工控机，跑一个几亿参数的视觉小模型，专门认零件表面的划痕和缺角，以前这道工序靠老师傅肉眼，漏检率忽高忽低；上模型后，节拍稳定了，不良品流出几乎归零，老板算过账，这台机器半年就回本。这种"不性感但很赚钱"的落地，才是边缘 AI 的真实模样——它不写诗，只盯着传送带。
对从业者，这是个被低估的机会。会调模型的人很多，但能把模型塞进一台没网的老设备、还跑得稳的人很少，后者在制造业、车载、零售里极其抢手。对个人开发者，门槛也比想象中低：一台二手迷你主机就能搭起本地推理环境，开源社区里现成的量化模型一大把，练手成本几乎为零。
当然，边缘 AI 也不是万能钥匙。它适合"窄而专"的任务，真要开放域对话、复杂推理，小模型还是会露怯，那种场景还是得回云端。而且边缘部署有硬件门槛和维护成本——一台工控机坏了，现场就停摆，所以容灾和远程运维也得跟上。选边缘还是上云，本质是"延迟、隐私、成本、智能上限"四件事的取舍，没有标准答案，看清自己的约束再动手最稳妥。
我的判断：接下来两年，边缘侧会出现大量"小而专"的模型生意，它们不追求通用，只把一件事做到又快又省又稳。如果你想入局，别一上来就追最大最强的模型，Qwen、Llama 这类开源轻量版的端侧玩法，反而是更适合普通人的切入点。酷越收录的 DeepSeek 等也都有可本地部署的蒸馏版本，值得动手试试。