吞噬2.3亿判例却仅有54%准确率:OpenAI Astra for Law与律所责任死局
把美国 99.9% 的公开判例全塞给大模型,它的法律调研准确率能有多少? 54%。 有没有搞错? 这还是在 OpenAI 最新的 GPT-6 Astra 底座上,外挂了 2.3 亿条专业法律检索索引后的成绩。 更离谱的是,在整个法律科技圈里,这已经被当成一次重大突破。 因为以前让大模型去普通网页上搜索,准确率只有 38.7%。
很多人纳闷,大模型写代码、写文章早就一套一套的,怎么到了法律领域,连及格线都爬得这么艰难? 因为法律这行有一个最要命的规矩:它容不下哪怕一次凭空编造。 2023 年纽约曼哈顿联邦法院出了个轰动全美的案子,Mata v. Avianca。 两位执业三十年的资深律师用 ChatGPT 写起诉书,提交上去六个看起来严丝合缝的判例。 结果法官一核验,全美判例库里根本没有这六个案子,全是大模型脑补出来的虚假判例。 法官直接以违反联邦民事诉讼规则第 11 条为由,对两位律师开出五千美元罚单,还在全美法律界通报示众。 对律师来说,文采好不好是小事,引错一个先例是会被直接赶出法庭的大事。 这就是为什么普通大模型进了律所根本没人敢用。
OpenAI 这次推出的 Astra for Law,就是想把这块心病给彻底封死。 他们找了全美最大的法律数据公益机构 Free Law Project,接入了 CourtListener 的全部底层库。 整整 2.3 亿个专业网页索引,把美国历史上 99.9% 的公开先例判例、联邦成文法和行政法规全锁进了检索库。 为了让顶级律所敢把案子放进来,瑞生律师事务所 Latham & Watkins 还帮着设计了行业级的安全机制。 接口实行零数据留存,绝不把客户的案卷拿去二次训练。 系统内部还立起严格的伦理墙,防止不同客户的敏感信息发生利益冲突。
这一套组合拳打下来,最先冒冷汗的是硅谷那些做法律垂直 AI 的创业公司。 过去两年,像 Harvey 这样的法律 AI 明星公司拿了几亿美元融资,估值冲到十几亿。 他们给投资人讲的故事,无非是自己有专用的法律数据和工作流清洗能力。 结果 OpenAI 一转身,直接在基础模型底层把 2.3 亿条判例索引和伦理墙全部搭好了。 原本自命为颠覆者的垂直应用,一夜之间变成了依附在底座上的插件和接口客户。 基础大模型在往下吞噬垂直索引的时候,单纯靠数据搬运做出来的护城河,脆弱得像一层窗户纸。
但这套武装到牙齿的系统,终究还是要面对那个残酷的现实。 在 Vals AI 的法律基准测试里,面对两百道专业的法律检索难题,Astra for Law 的得分是 54%。 尽管它找准相关判例的概率提升了 24%,抓取判决核心段落的能力提升了 54%。 但 54% 的准确率,意味着还有 46% 的地方是不准的。 在商业咨询里,对一半就能当参考;但在法庭上,46% 的差错率跟赌博没有区别。 漏掉一条致命的反面判例,整场诉讼就可能当场翻盘。
那为什么全美排名前列的大律所还在抢着排队试用? 因为他们赖以生存的商业模式,正在被这台机器逼进死角。 英美法系大律所几十年来最赚钱的机器,叫作按小时计费。 合伙人带着几个初级律师,初级律师每周花六十个小时泡在法条和文书堆里找先例,律所按每小时几百上千美元向客户收账。 现在 Astra for Law 把翻找 2.3 亿条索引的时间,从三天压缩到了三秒。 可因为那 46% 的差错率,初级律师的工作并没有消失。 他们只是从人肉翻书,变成了高风险的找茬校对。 客户不再愿意为漫长而低效的初级检索买单,律所又必须为 AI 漏掉的每一个细节押上自己的执照。
大模型可以把 99.9% 的判例瞬间堆到眼前。 但最后在起诉书上签下名字、替那 46% 的未知承担全部责任的,依然只能是律师自己。
引用 / CITATIONS
No citations exported.
同领域解读 / AI & LLMS
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。