律师在法庭上引用判例，是再正常不过的事。但如果那条"判例"是 AI 编的，而律师没核实就写进了 brief，会发生什么？这类事正在真实发生——有律师用聊天机器人找支撑论点，模型一本正经地给出了案号、法院、年份俱全却根本不存在的案例，当事方拿着这份文件出庭，场面一度很难看。这不是段子，是已经闹上法庭、被法官点名 warn 的真事。
幻觉为什么这么顽固？因为大模型的工作方式本质是"预测下一个最合理的词"，它追求的是"像真的"，而不是"是真的"。当它不知道，它会用自信的语气把空白处填满，而法律恰恰是最不能容忍"差不多"的领域——一个错案号，轻则丢 credibility，重则构成对法庭的误导。把"生成式"直接当"检索式"用，是这类事故的共同根源。
一个做小额纠纷自诉的普通人老李，自己写材料时图省事让 AI 帮忙"找几个类似胜诉案例"，结果拿到了三个编得有鼻子有眼的判例。他信了，材料递上去被书记员一眼识破，案子没耽误但白白搭了两周。他踩的坑，恰恰是所有人的坑：我们太容易把"说得顺"当成"查得准"。
对普通用户，教训很朴素：凡是要落字据、要负责任的场合，AI 给的事实必须交叉核实，尤其案号、法条、数据这类可证伪的东西。对法律、医疗、财务这些"错不起"的行业，正解是"AI 起草、人把关"，把模型当助理不是当权威。责任从来不会跟着模型走，只会跟着签名的人走。
更麻烦的是责任归属。律师署名担责，但模型是他用的，平台要不要负责？目前还是灰色地带。对普通人来说，这意味着你看到的"专业意见"背后，可能已经混进了未经核验的机器产物。把"AI 生成"和"人已核实"分开标注，迟早会从好习惯变成硬要求。
我的判断：接下来这类"AI 幻觉翻车"会越来越多地进入公共视野，倒逼出"AI 生成内容须标注、关键事实须人工核验"的行业规范。工具越强，越要明白——签字的那只手，才是最后一道防线。