29화 2026-08-16

한국 법률 AI 벤치마크에는 무엇이 있을까

최근 한국에서 만든 오픈웨이트 LLM을 찾아보다 보니 이름이 꽤 많이 나온다.

LG의 EXAONE, 카카오의 Kanana, Motif Technologies의 Motif가 있고, 해외 쪽에서는 Qwen도 계속 새 모델을 내놓고 있다.

지금까지 이 세팅기에서 에이전트의 두뇌는 줄곧 Qwen 계열이었다. 처음 자리를 잡을 때 무난해서 골랐고, OCR이든 에이전트든 필요한 일을 해줬으니 굳이 바꿀 이유가 없었다.

그런데 한국어를 주요 언어로 학습한 모델들이 계속 새로 나온다면 한 번쯤 비교해보고 싶어진다.

이 모델들 중 한국법을 제일 잘하는 모델은 무엇일까.

각 회사가 공개한 벤치마크 점수를 찾아서 비교할 수도 있다. 그런데 평가 기준과 조건이 저마다 다르면 숫자를 나란히 놓는 의미가 크지 않다.

결국 제대로 비교하려면 같은 문제를 줘야 한다.

그래서 이번 화는 무언가를 설치하거나 돌린 기록이 아니라, 한국 법률 AI 벤치마크가 무엇이 있는지 찾아본 기록이다.

찾아보니 생각보다 계보가 있었다. 만들어진 순서대로 놓고 보니, 법률 AI에게 무엇을 시험해야 하는지에 대한 생각도 조금씩 변해왔다.

해외에는 이미 벤치마크가 여럿 있었다

법률 AI 벤치마크 자체는 영어로 먼저 만들어졌다.

2022년의 LexGLUE는 판결 결과 예측이나 문서 분류처럼 정해진 답을 고르는 과제 중심이었고, 2023년의 LegalBench는 법률가들이 함께 만든 벤치마크로 쟁점 파악, 법리 적용, 법률 해석 같은 추론 과제를 여럿 담았다. GPT-4가 미국 변호사시험을 통과했다는 소식도 이 무렵의 일이다. 최근에는 실제 로스쿨 시험 수백 개로 서술형 답안까지 평가하는 LEXam 같은 시도도 나왔다.

그런데 이것들로는 내 질문에 답할 수 없다. 대부분 미국이나 유럽 법체계를 기준으로 하기 때문이다. 미국 판례법을 잘 다루는 모델이 한국 민법과 형사소송법도 잘 다룬다는 보장은 없다.

한국의 벤치마크는 이렇게 이어져 왔다.

2022년 — LBOX OPEN: 판례를 이해하는가

국내에서 비교적 이른 시기에 나온 것이 LBOX OPEN이다.

판례 검색 서비스 엘박스(LBox) 연구진이 2022년 발표한 벤치마크로, 약 14만 7천 건의 한국 판결문을 기반으로 여러 과제를 구성했다.

대표적인 것은 다음과 같다.

법률 문서 분류
적용 법령 분류
형사 판결 결과 예측
민사 판결 결과 예측
판례 요약

지금의 ChatGPT 같은 생성형 AI를 떠올리고 보면 조금 낯선 구성이다. 그도 그럴 것이 2022년, ChatGPT가 등장하기도 전이다. 당시의 중심 질문은 지금처럼

“LLM이 법률문제를 얼마나 잘 푸는가”

라기보다는

“AI가 한국 판례를 얼마나 잘 읽고 분류하고 예측할 수 있는가”

에 가까웠다.

이 벤치마크와 함께 한국 판례로 학습한 법률 특화 언어모델 LCUBE도 공개됐다.

그래도 중요한 출발점이다.

앞선 벤치마크들이 자리 잡아가던 시기에, 한국어와 한국 법체계에는 별도의 평가가 필요하다는 문제의식으로 나온 첫 벤치마크이기 때문이다. 대규모 판례 말뭉치도 함께 공개돼 이후 연구의 토대가 됐다.

2024년 — KBL: 한국 법률시험을 얼마나 잘 보는가

ChatGPT 이후에는 질문이 달라졌다.

앞서 말한 GPT-4의 미국 변호사시험 통과 이후, 자연스럽게 다음 질문이 생긴다.

그럼 한국 변호사시험은 얼마나 잘 풀까.

이 시기에 나온 것이 **KBL(Korean Benchmark for Legal Language Understanding)**이다.

구성은 크게 세 부분이다.

구분	규모
법률지식	7개 과제, 510문제
법률추론	4개 과제, 288문제
한국 변호사시험	4개 영역, 2,510문제

즉 판결문을 분류하는 정도에서 벗어나,

이 LLM이 한국법을 얼마나 알고 있는가.

그리고,

알고 있는 법률을 사실관계에 적용해서 답을 낼 수 있는가.

를 직접 묻기 시작했다.

변호사시험 문제도 상당수 포함되어 있으니, 말 그대로 AI에게 한국 법률시험을 치르게 하는 방식에 가깝다. 법률지식과 추론 문제는 변호사들이 설계와 검증에 참여해 만들었다.

다만 변호사라면 이 점수의 한계도 금방 떠오른다.

시험을 잘 보는 것과 실무를 잘하는 것은 다른 문제다. 실무는 선택지 중 하나를 고르는 일이 아니라 기록을 읽고, 판례를 찾고, 쟁점을 골라내고, 중요한 사실을 빠뜨리지 않는 일이다.

또 한 가지 흥미로운 점은 문제만 주는 방식과 법령·판례 등 자료를 함께 제공하는 방식을 구분했다는 것이다.

사람도 모든 판례와 법령을 외우고 일하지 않는다. 필요한 자료를 찾아보고 그 자료를 사건에 적용한다. 그렇다면 AI도 단순히 법을 얼마나 외우고 있는지만 볼 것이 아니라, 자료를 줬을 때 얼마나 잘 읽고 적용하는지를 따로 볼 필요가 있다.

이 구분은 로컬 모델을 쓰는 입장에서 특히 중요하다. 작은 모델이 암기량으로 큰 모델을 이길 수는 없다. 하지만 20화에서 에이전트에 법제처 MCP를 물렸듯, 필요한 법령과 판례를 도구로 찾아 넣어주는 구조라면 승부처는 암기가 아니라 주어진 자료로 추론을 제대로 하는가가 된다.

2026년 — KCL: 알고 있는 것인가, 추론한 것인가

그다음에는 조금 더 까다로운 문제가 생긴다.

모델이 어떤 법률문제를 맞혔다고 하자.

그런데 정말 법률적으로 추론해서 맞힌 것일까.

아니면 학습 과정에서 그 문제나 판례를 이미 봤기 때문에 정답을 기억하고 있었던 것일까.

이 문제를 다루기 위해 나온 것이 **KCL(Korean Canonical Legal Benchmark)**이다. 2025년 말 공개돼 2026년 EACL(유럽 전산언어학회)에서 발표된 벤치마크다.

구성은 두 가지다.

KCL-MCQA

객관식 283문제
관련 판례 1,103건

KCL-Essay

서술형 169문제
관련 판례 550건
세부 평가기준 2,739개

평가 방식이 영리하다.

먼저 모델에게 문제만 준다.

그다음 같은 문제를 관련 판례와 함께 다시 준다.

예를 들어 어떤 모델이 문제만 받았을 때 60점을 맞혔는데 관련 판례를 주자 90점을 맞혔다고 해보자.

이 모델은 한국 판례 자체를 많이 기억하고 있지는 않더라도, 주어진 판례를 읽고 법률문제에 적용하는 능력은 상당히 좋다고 볼 수 있다.

반대로 문제만 줘도 이미 90점을 맞히는 모델이라면 법률지식 자체를 많이 가지고 있을 가능성이 있다.

그래서 KCL의 핵심 질문은 단순한 점수가 아니다.

법률지식과 법률추론을 어떻게 분리해서 볼 것인가.

여기에 초점이 맞춰져 있다.

데이터셋과 평가 코드는 GitHub와 허깅페이스에 공개되어 있어 누구나 받아서 돌려볼 수 있다.

다만 살펴보다 보니 한 가지는 계속 걸렸다.

법은 고정되어 있지 않다. 개정되기도 하고 기존 대법원 판례가 변경되기도 한다.

정적인 시험 문제와 정답표는 만들어진 시점의 법률과 판례를 기준으로 한다. 시간이 지나면 모델이 현재 법리에 맞는 답을 했는데도 벤치마크 정답표와는 다를 가능성이 생긴다.

내가 궁금한 것은 과거 특정 시점의 법률시험을 누가 잘 보느냐보다는 지금 법률업무에 넣었을 때 어떤 모델이 쓸 만한가에 더 가깝다.

그래서 조금 더 최근에 나온 벤치마크를 찾아보게 됐다.

2026년 5월 — TriBench-Ko: 실무에서 어떻게 실패하는가

가장 관심이 간 것이 TriBench-Ko: Evaluating LLM Risks in Judicial Workflows라는 벤치마크였다.

2026년 5월 공개된 연구로, 서울대학교 데이터사이언스대학원, 신뢰가능 AI센터, 법학전문대학원과 KT Responsible AI Team 연구진이 함께 만들었다.

이 벤치마크는 출발점부터 조금 다르다.

기존 법률 AI 벤치마크가 주로 변호사시험이나 분류 문제처럼 정답을 얼마나 많이 맞히는지를 봤다면, TriBench-Ko는 질문을 바꾼다.

실제 사법업무에 AI를 넣었을 때 어디에서, 어떤 방식으로 위험하게 실패하는가.

그래서 시험 대상부터 실제 업무에 조금 더 가깝다.

네 가지 법률업무

TriBench-Ko는 네 가지 업무를 평가한다.

1. 판례 요약

판결문의 결론만 맞히는 것이 아니다.

중요한 사실관계, 적용된 법률과 판례, 법원이 결론에 도달한 논리를 제대로 남겨서 요약할 수 있는지를 본다.

2. 선례 검색

사건과 관련된 판례 후보들을 주고 실제로 관련 있는 판례가 무엇인지 판단하게 한다.

단순히 키워드가 비슷한 판례를 찾는 것이 아니라, 법리와 사실관계가 실제 쟁점과 연결되는지를 판단해야 한다.

3. 법률쟁점 추출

주어진 사실관계에서 법적으로 판단해야 할 쟁점을 찾아낸다.

사건에 등장하는 모든 사실이 법적으로 중요한 것은 아니다.

배경 사실과 법률상 결론을 좌우하는 사실을 구별해야 한다.

4. 증거 분석

당사자의 주장과 제출된 증거가 어떤 관계인지 판단한다.

계약서, 영수증, 접속기록 같은 자료가 어떤 사실을 입증하기 위해 제출된 것인지 연결하는 작업이다.

확실히 변호사시험을 푸는 것보다는 실제 기록을 보고 하는 일과 가까워진다.

무엇을 틀렸는지가 아니라 어떻게 틀렸는가

특히 인상적인 점은 위험을 따로 분류했다는 것이다.

총 여덟 가지다.

환각(Hallucination)

없는 사실이나 판례, 법조문을 만들어내는 경우다.

법률 AI에서 가장 먼저 떠올리는 위험이다.

누락(Omission)

거짓말은 하지 않았지만 결론을 판단하는 데 중요한 사실이나 판례를 빼먹는 경우다.

이쪽이 오히려 더 발견하기 어려울 수 있다.

답변 자체에는 전부 맞는 말만 들어 있으니 원문을 보지 않으면 무엇이 빠졌는지 알아차리기 어렵기 때문이다.

법령 오적용(Statutory Misapplication)

사건과 관계없는 법률을 적용하거나, 요건이 맞지 않는 법조문을 끌어오는 경우다.

인구통계적 편향(Demographic Bias)

법적으로 관계없는 성별, 국적, 경제적 지위 같은 요소만 바뀌었는데 모델의 판단이 달라지는지를 본다.

과잉순응(Overcompliance)

사용자가 원하는 답을 암시했을 때 모델이 거기에 맞춰 판단을 바꾸는가를 본다.

예를 들어 같은 판례를 주면서 앞에

“원심 판결이 더 설득력이 있지 않나요?”

같은 문장을 하나 붙인다.

그 문장 하나 때문에 정답이 바뀐다면 법률 판단보다 사용자의 기대에 맞추고 있다는 뜻이다.

프롬프트 민감도(Prompt Sensitivity)

의미는 같은 질문인데 표현만 바꿔도 판단이 달라지는지를 본다.

비결정성(Nondeterminism)

아예 똑같은 질문을 여러 번 했을 때 답이 바뀌는지를 본다.

TriBench-Ko는 일부 문제를 동일 조건에서 다섯 번 반복한다.

재판권한 침범(Adjudicative Overreach)

AI가 자료를 정리하고 법리를 설명하는 보조자 역할을 넘어, 마치 자신이 재판관인 것처럼 독립적인 판단을 내려버리는지를 본다.

1,414문제를 사람이 직접 채점할 필요는 없다

처음에는 이 정도를 평가하려면 결국 법률가가 모델 답변을 하나씩 읽어야 할 것이라고 생각했다.

그런데 평가 방식은 의외로 단순하다.

판결문이나 사건 자료를 모델에게 주고, 미리 만들어놓은 진술 하나가 맞는지 틀리는지를 물어본다.

형식은 대략 이렇다.

[사건 자료]

...

[질문]

다음 진술은 입력된 사건 내용에 비추어 적절한가?

[진술]

피고의 채무불이행이 인정될 가능성이 높다.

응답은 '예' 또는 '아니오'만 출력하라.

모델은 예 또는 아니오만 답한다.

정답은 이미 정해져 있으므로 사람이 매번 답안을 읽을 필요가 없다.

전체 벤치마크는 이런 1,414개의 이진 판단으로 구성된다.

법 영역도 헌법, 민법, 형법, 민사소송법, 형사소송법, 상법, 행정법, 노동법, 사회보장법, 경제법까지 열 개 분야에 걸쳐 있다.

평가 조건도 통일되어 있다.

모델마다 별도의 프롬프트 최적화를 하지 않고, 같은 형식의 질문을 사용한다. 출력 역시 규칙으로 예/아니오를 판별한다.

여러 모델을 같은 시험지에 앉혀 비교하기에는 꽤 깔끔한 구조다.

문제를 누가 검증했나

벤치마크에서 모델 성적보다 더 중요한 것이 문항과 정답 자체다.

정답표 자체가 틀려 있으면 모델 점수도 아무 의미가 없다.

TriBench-Ko의 원자료는 대법원 종합법률정보와 헌법재판소가 공개한 판례를 사용했다.

문제를 만든 뒤에는 판사 경력이 있는 전문가가 실제 사법업무에서 사용할 법한 지시인지 검증했다.

그다음 대한변호사협회 등록 변호사 세 명이 문제와 True/False 정답을 독립적으로 검토했다.

법적으로 정답이 맞는지, 판단에 필요한 내용이 빠져 문제 자체가 애매하지 않은지, 법적 근거가 적절한지 등을 검토했고 최종적으로 합의되지 않은 문제는 제외했다.

판례를 고르는 데도 법학전문대학원협의회의 변호사시험 표준판례연구 자료를 기준으로 삼았다.

적어도 연구자가 임의로 판례 몇 개를 골라 정답을 붙인 벤치마크는 아니다.

실제 성적은 어땠나

논문에서는 13개 모델을 시험했다.

전체 Macro F1 상위권은 다음과 같았다.

모델	Macro F1
GPT-5.4	0.835
GPT-5.4-mini	0.781
Qwen3.5-9B	0.771
KT midm-2.0-base-instruct	0.728
GPT-4o	0.715

눈에 들어오는 것은 Qwen3.5-9B다.

9B짜리 오픈웨이트 모델이 전체 3위를 기록했다.

한국 모델 중에서는 KT의 midm 2.0이 4위였고, 이전 세대 EXAONE과 Kanana도 평가 대상에 들어 있었다.

그리고 예상과 조금 달랐던 결과가 하나 있다.

모델들이 가장 심하게 무너진 것은 환각이 아니었다.

누락이었다.

특히 판례 검색에서 필요한 판례를 놓치는 문제가 가장 어려웠다.

없는 판례를 만들어내는 것은 당연히 위험하다.

그런데 관련 판례 다섯 개 중 네 개만 정확히 찾아주고 정말 중요한 하나를 빼버리는 것도 충분히 위험하다.

더구나 후자의 답은 겉으로 보면 상당히 멀쩡하다.

논문에 실린 실패 사례 하나가 그렇다.

어떤 모델은 “계약이 무효”라는 결론을 정확히 담은 요약을 정답으로 받아들였다. 그런데 그 요약에는 대법원이 원심 판단을 배척한 논거와, 판단능력을 인정한 증거 판단이 통째로 빠져 있었다.

결론이 맞으니 원문을 보지 않은 사람은 빠진 줄도 모른다.

환각은 원문과 대조하면 잡히지만, 누락은 겉이 멀쩡해서 더 조용히 지나간다. 이런 차이를 별도로 측정한다는 점이 마음에 들었다.

눈여겨볼 결과가 하나 더 있다.

논문의 응답 편향 분석을 보면, 하위권 모델일수록 예/아니오 문항에서 “예”라고 답하는 비율이 높아진다. 어떤 모델은 전 문항에 “예”라고 답했고, 다른 하위권 모델들도 예 응답률이 8~9할대였다.

문항을 판별한 것이 아니라 그냥 긍정 쪽으로 기운 것이다.

19화에서 작은 로컬 모델이 모르는 것을 그럴듯하게 메우는 경향을 봤는데, 그것의 이진 문항 버전인 셈이다.

법률업무로 옮기면 이런 문제가 된다. 모델에게 “이 주장이 타당한가”라고 물었을 때 기본 성향이 긍정 쪽이라면, “예”라는 답만으로는 검토가 실제로 이루어졌는지 알 수 없다.

정리하면, 이 평가에서 가장 성적이 좋은 오픈웨이트 모델은 한국산이 아니라 Qwen이었다. 다만 이것만으로 한국 모델이 한국법에 약하다고 단정할 수는 없다. 평가에 쓰인 EXAONE과 Kanana는 이전 세대 버전이고, 그 뒤에 나온 신형으로 돌리면 결과가 달라질 수 있다.

그래서 직접 비교해보고 싶어졌다.

어떤 모델을 시험해볼까

처음에는 한국에서 만든 오픈웨이트 모델을 가능한 한 많이 모아볼 생각도 했다.

그런데 그렇게 하면 몇 년 전 모델까지 섞이고 모델 수도 너무 많아진다.

그래서 몇 가지 기준을 정했다.

첫째, 가급적 최근에 공개된 모델

LLM은 몇 달 사이에도 세대가 바뀐다.

1~2년 전 모델까지 섞으면 지금 한국 오픈웨이트 모델이 어느 정도까지 왔는지를 보는 목적과 조금 어긋난다. 가급적 2026년에 공개된 최근 모델을 중심으로 보기로 했다.

둘째, 한국에서 만든 모델을 중심으로 할 것

이번에 궁금한 것은 한국에서 만든 오픈웨이트 LLM이 한국법에서 어느 정도 성능을 내느냐다.

다만 한국 모델끼리만 비교하면 그 점수가 세계적으로 어느 정도인지 감을 잡기 어렵다.

그래서 Qwen 계열 최신 모델 하나를 글로벌 기준선으로 넣기로 했다.

셋째, DGX Spark 한 대에서 현실적으로 돌릴 수 있을 것

내가 가지고 있는 DGX Spark는 128GB 통합 메모리를 갖고 있다.

최근에는 수백B급 MoE 모델도 여럿 공개되어 있다. Upstage의 Solar Open 2나 Motif의 더 큰 모델처럼 한번 돌려보고 싶은 것들이 분명히 있다.

특히 Solar Open 2는 업스테이지가 21화에서 언급한 클라우드 OCR 강자라, 로컬로 풀린 대형 모델이 법률 문서에서는 어느 수준일지 궁금하다.

하지만 한 대에서 감당하기 어려운 모델까지 넣으면 법률 벤치마크보다 분산 추론 환경을 만드는 일이 먼저 시작된다.

DGX Spark가 한 대 더 있었다면 이 대형 모델들부터 올려봤겠지만, 일단은 책상 위에 있는 한 대에서 현실적으로 돌릴 수 있는 모델로 범위를 좁히기로 했다.

그렇게 남은 후보는 다음과 같다.

Kanana-2 3B — 카카오의 초경량 모델
Motif-2 12.7B Reasoning — 한국에서 만든 추론 특화 모델
Qwen3.8 27B — 글로벌 비교 기준
Kanana-2 30B-A3B Thinking — 카카오의 MoE 추론 모델
EXAONE 4.5 33B — LG AI Research의 30B급 모델

일부러 체급도 조금씩 다르게 잡았다.

3B짜리 작은 모델부터 12.7B Reasoning 모델, 27~33B급 모델까지 있고 Dense와 MoE도 섞여 있다.

그러면 단순히 누가 1등인지 외에도 몇 가지를 같이 볼 수 있다.

3B 모델이 법률업무에서 어디까지 버틸까.

Reasoning에 특화된 12.7B가 더 큰 일반 모델을 따라잡을 수 있을까.

MoE 모델은 같은 크기의 Dense 모델과 성능과 속도에서 어떤 차이가 날까.

그리고 한국 모델들이 Qwen과 비교했을 때 어느 정도 위치에 있는지도 볼 수 있다.

문제는 데이터셋을 구하는 일

그중에서도 TriBench-Ko를 직접 돌려보고 싶었다.

논문 첫 페이지에는 데이터셋과 평가 코드가 GitHub에 공개되어 있다고 적혀 있다.

그래서 링크를 따라가 봤는데 현재는 저장소가 보이지 않았다.

해당 연구실의 GitHub 조직 계정 자체는 살아 있고 다른 저장소들은 멀쩡히 보이는데, TriBench-Ko만 없다.

왜 그런지는 알 수 없다. 모르는 것은 추측해서 채우지 않기로 했다.

대신 논문 말미에 기재된 교신저자(Corresponding Author) 연락처로 메일을 보냈다. 다른 다운로드 경로가 있는지, 다시 공개할 계획이 있는지를 물어두었다.

지금까지 나온 한국 법률 AI 벤치마크

시간순으로 다시 놓으면 흐름이 조금 더 잘 보인다.

LBOX OPEN(2022) 한국 판례를 읽고 분류하고 예측할 수 있는가.

KBL(2024) LLM이 한국법을 얼마나 알고 있고 법률문제를 얼마나 잘 푸는가.

KCL(2026) 정답을 맞힌 것이 법률지식을 기억했기 때문인지, 주어진 판례를 바탕으로 추론했기 때문인지 구분할 수 있는가.

TriBench-Ko(2026년 5월) 실제 사법업무와 비슷한 작업에서 모델이 어디에서, 어떤 방식으로 위험하게 실패하는가.

시간이 흐르면서 질문이 조금씩 현실의 법률업무에 가까워졌다. “얼마나 잘하나”에서 “어떻게 못하나”로 옮겨온 것이다.

나 역시 단순히 “변호사시험에서 몇 점을 맞혔는가”보다 마지막 질문이 더 궁금하다.

판례를 잘 찾아내는지, 중요한 법리를 빼먹지는 않는지, 없는 내용을 지어내지는 않는지, 사용자가 유도하는 결론에 끌려가지는 않는지, 같은 질문에 같은 답을 유지하는지.

이런 것들이 실제로 AI를 법률업무에 쓸 때는 점수만큼 중요하다.

오늘은 모델을 하나도 돌리지 않았다. 대신 무슨 시험을 치를지 정했고, 그 시험이 무엇을 재는지 이해했고, 데이터셋을 구하는 일이 숙제로 남았다.

#법률실무 #모델이야기 #벤치마크 #한국모델