终于,我们让AI通过了法考|天同码
发布时间:2024.08.06 18:37 来源:天同诉讼圈

我们从今年4月份开始深度关注大模型在法律行业的应用。今年五四,天同诉讼圈发表了一封给律师的信《对话GPT,不用低估自己》(点击阅读),那是我们正式向行业发出的第一份邀请函。

就在上周,作为中国法律科技领域的最新成果,由天同律师事务所作为实务共建单位,中国司法大数据研究院、数智枫桥研究院联合设计研发的法律垂直领域大模型“法观”,以Lawbench 测得64.38分,超过北京大学法学院的Chatlaw(60.08分)及美国OpenAI的ChatGPT-4(52.35),暂列全球第一;并以客观题182分及主观题优秀表现,实测通过中国法律职业资格考试 (学习资料中不包括考试题目,属于真考),成为全球首个通过中国法考的人工智能产品。

闭关了这么久,咱们法律人自己的大模型、自己的“法观”,终于要来了。

为什么需要法律垂直领域大模型?

人工智能与法律的结合并不是一个新话题。早在数十年前,专家们就已经在探讨如何用计算机技术来辅助法律工作,从简单的法律文献检索到复杂的法律案件分析。而在大模型技术的普及过程中,AI更加逐渐扮演了越来越重要的角色,被认为是一种减轻法律从业人员负担的有效手段。

通用大模型虽然可以回答公众的一些初级法律问题,或者辅助律师从事日常非专业性工作,但在知识精准度及与实际需要的契合上仍有欠缺,很难真正符合预期。

尤其法律关乎生命财产,更加不可儿戏,一次误判、一点遗漏或一个误导,都可能造成严重的后果。

举几个例子:
早前美国有一位律师使用通用大模型提交法庭简报,但最终被发现援引的案件判决书是虚构的,经调查,其法律摘要由大模型撰写,该律师因此面临听证和处罚。
某企业,借助通用大模型来理解行业规则,遗憾的是,模型对规则的解释并不透彻,致使该企业采取了错误的经营策略,进而招来监管稽查。
还有更恶劣的情况,有用户向大模型表达了一些困境,而模型竟然给出了“建议从桥上跳下去”这样极其危险的回复;询问电车难题,竟然得到“牺牲一个人去救三个人是符合价值衡量的做法”这样极其错误的回答。

垂直领域的大模型,是必要的。

在准确性和专业性方面,通用大模型的知识浮于表面,存在明显不足,还易出现错误条文引用、不恰当的法律文书撰写等,可能引发严重后果。

相比之下,垂直领域大模型因针对特定领域进行过专门训练,能够深入钻研相关法律、行业惯例及最新动态,能避免通用大模型在专业领域的失误,更好地适应特殊需求,从而为各领域提供更可靠、实用的服务与支持。

如何“得到”一个垂直领域大模型?

说在前面,如果想要一个合格的垂类大模型,只靠外挂知识库,是绝对不够的。

大模型的知识改进方式,常见的包括“语料训练”和“外挂知识库”:

语料训练,指对大模型所使用的底层训练数据进行修改、优化或补充,包括增加特定领域的文本训练,以提升模型在该领域的理解和生成能力。
—— 就好比法学教育。

外挂知识库,是在大模型的基础上,额外连接若干个独立的知识存储库,当需要回答问题或进行相关任务时,大模型可以从这个外挂知识库中获取特定的知识信息。
—— 就好比图书馆

语料训练决定了大模型的专业基础能力,外挂知识库则能更灵活、便捷地更新知识。

只训练不外挂,会跟不上实况变化。
只外挂不训练呢?就好比让一个高中生去参加法考,哪怕是开卷考试,他可能连题眼都找不到。未经训练的模型将可能无法理解复杂的专业术语在不同语境中的微妙差异,也难以生成符合业务逻辑的专业分析报告。只有经过语料训练,才能真正掌握一个领域的语言规律和知识内涵,形成内在的认知和处理能力。

自上次发布《AI如何通过法考?》(点击阅读)以来,“法观”经过技术专家及专业法律从业者的反复修改升级,基于百万级语料训练集,终于成为了全国首个通过法考的AI大模型,还在精密的法律大模型能力测评Lawbench中取得高分,超过Chatlaw和ChatGPT-4,排到了第一。

要知道,法考是国家级的法律从业资质考试,涉及宪法、刑法、民法、商法、法治等多个领域,考试内容覆盖广泛,题目难度较高,对于初任法官、检察官,申请律师、公证员执业,初次担任法律类仲裁员,以及行政机关中初次从事特定法律事务的公务员等职业,是必要的资格条件。
也因此,借助这一测试,我们验证了“法观”终于达到了参与实务的标准水平

Lawbench则是一个由南京大学和上海人工智能实验室联合构建的中文法律问答模型评估数据集,旨在全面评估大型语言模型在法律领域的实际性能表现。该数据集包含三个关键维度:法律知识记忆、法律知识理解、法律知识应用,涵盖20个子测评项,覆盖单选、多选、回归、抽取和生成等五大类法律专业任务。

“法观”测得64.38分,在这项应用测试中也表现出色,暂列第一。

图片

我们还曾将几份法律大模型生成的结果与法律初级从业者制作的内容进行对比,邀请专业读者识别哪些是由大模型生成的,结果大多数人都没有识别出哪一篇是由法律大模型生成。

共舞刚刚开始

回顾这段时间以来“法观”的表现可见,AI在法律领域终于可能不再是一个遥不可及的梦想了。在这个时代,AI不仅会成为法律从业者的得力助手,还将助推法律行业向更加高效、公正和智能的方向发展。
 

法律大模型的出现绝不意味着法律人可以变得“懒惰”,与之相反的是在此背景下法律行业对于法律人有了新的期望。
当AI一视同仁地服务全世界的时候,我们法律人更加需要审慎地思考如何利用这项技术,以确保它能够为自我与人类的长远发展带来积极的影响。公益领域和法律行业,都迫切需要一款法律垂直领域的大模型,以更好地实现法律人与AI技术的深度融合。

我们长期关注并从事法律科技革新,力求为法律人及公众打造足够便利、足够精准的法律大模型产品,也正是在这样的背景下,我们的法律大模型“法观”将正式推出:

图片

感兴趣的小伙伴,可联系小助理了解详情,进群第一时间获取公测信息、提前锁定名额喔:

尽管未来还有许多未知的挑战、“法观”还在持续升级以争取更好的测评结果,但可以肯定的是,法律与AI的共舞才刚刚开始

转载自:

图片

“天同码”栏目由陈昱竹律师主持,秉持天同的“开放、创新”精神,邀请同行共建。栏目主要分享典型案例,进一步关注并分享法治建设、法律科技、知识管理、数据合规等前沿问题。如您有意加入共建、参与我们的线下活动,或有任何想法、意见、建议,欢迎点击文末留言。

查看往期文章,请点击以下链接