한국어 언어모델의 성능, 이제는 객관적으로 평가해 볼까요?

최근 인공지능 분야에서 가장 뜨거운 주제 중 하나는 바로 대규모 언어모델(LLM)이에요. 그런데 한국어 모델이 얼마나 잘 작동하는지 객관적으로 평가하려면 어떻게 해야 할까요? 다행히 최근 한국어 언어모델의 성능을 평가할 수 있는 다양한 기준과 리더보드가 등장하고 있어요.

 

한국어 언어모델 평가, KoLLM-Eval이 뭔지 아시나요?

KoLLM-Eval은 쉽게 말해 한국어 언어모델의 능력을 평가하는 특별한 도구라고 생각하면 돼요. 원래 있던 영어 평가 도구(lm-evaluation-harness)를 한국어로 맞춤 제작한 거예요. 덕분에 어휘력부터 역사, 상식, 독해, 추론 능력까지 다양한 분야에서 한국어 모델의 실력을 꼼꼼하게 확인할 수 있어요.

KoLLM-Eval의 가장 큰 장점은 한국어에 특화된 문제를 통해 모델의 장점과 약점을 신속하게 파악할 수 있다는 점이에요. 한국어와 관련된 다양한 평가 데이터를 사용해서, 한국어 모델이 실제로 한국 문화나 언어적 특징을 얼마나 잘 이해하고 있는지 바로 알 수 있지요.

예를 들어 어떤 평가들이 있을까요?

KMMLU는 다양한 분야의 전문가 수준 질문으로 모델이 얼마나 깊이 있는 지식을 갖추었는지 확인해요. CSAT-QA는 수능 문제를 통해 모델의 실제 문제 해결 능력을 점검하고, HAERAE는 종합적인 상식과 독해력을 평가하지요. 이외에도 K2-Eval은 한국어 문화와 언어에 대한 깊은 이해도를, Logickor는 추론부터 수학, 글쓰기, 코딩 능력까지 다양한 분야에서 모델의 능력을 평가한답니다. 마지막으로 KoMT-Bench는 번역과 자연스러운 문장 생성을 평가하는 데 도움을 줘요.

 

Open-Ko-LLM Leaderboard가 한국어 AI 생태계를 바꾸고 있어요

이 리더보드는 한국어 모델들의 성능을 객관적으로 비교하고, 순위를 매겨서 더 좋은 모델을 개발할 수 있도록 돕는 역할을 하고 있죠. 특히 업스테이지와 NIA가 함께 만든 이 리더보드는 모델의 추론 능력, 언어 이해력, 일반상식, 그리고 잘못된 정보(할루시네이션) 방지 능력을 중심으로 성능을 평가하고 있어요.

리더보드에서 사용되는 주요 평가로는 초등 과학 문제(Ko-Arc), 일반 상식 문제(Ko-HellaSwag), 고교 수준의 여러 분야를 평가하는 Ko-MMLU, 올바른 정보를 가려내는 Ko-TruthfulQA, 자연스러운 문장 생성을 보는 Ko-CommonGen V2가 있어요. 이 평가들을 통해 한국어 모델의 현실적인 능력을 잘 보여줄 수 있답니다.

모델을 제출하려면 몇 가지 규칙도 있어요. 모델은 Hugging Face를 통해 쉽게 로드할 수 있어야 하고, 모델 파일은 반드시 safetensors 형식으로 제출해야 해요. 또한, 누구나 활용할 수 있도록 공개 라이선스를 가지고 있어야 합니다. 현재 상위권에는 주로 instruction-tuned 또는 RL-tuned 모델들이 많지만, 앞으로 더 크고 다양한 모델들이 등장할 것으로 기대돼요.

 

앞으로 한국어 모델 평가 생태계가 더 활발해질 것 같아요

KoLLM-Eval과 Open-Ko-LLM Leaderboard가 등장하면서, 한국어 모델의 강점과 약점을 명확하게 확인할 수 있게 되었어요. 이제 더 많은 연구자와 개발자들이 이 평가를 통해 더욱 발전된 한국어 모델을 개발할 수 있을 거예요. 앞으로 한국어 모델이 얼마나 더 발전할지 기대되네요.