한국어 로컬 모델, 어떻게 비교해야 할까?

문서 요약, 정보 추출, 존댓말, 띄어쓰기, 표 출력은 서로 다른 능력입니다. 실제 사용할 작업의 비율대로 평가 세트를 구성합니다.

‘한국어 작업을 분해합니다’ 단계에서 기준으로 삼을 원칙은 “공개 자료에서 10~20개의 한국어 평가 질문을 만듭니다.”입니다. 모델 평가는 공개 순위보다 실제 입력에서의 정확성, 지연, 메모리와 반복 일관성을 함께 보는 방식이 안전합니다.

검증할 때는 모델·런타임 버전, 입력 자료, 주요 설정과 결과를 한 묶음으로 저장합니다. 다른 조건을 그대로 둔 채 한 요소만 바꾸어 다시 실행하고, 예상과 다른 결과와 아직 확인하지 못한 한계까지 기록해야 이 설명을 자신의 환경에 안전하게 적용할 수 있습니다.

각 질문에 반드시 포함할 사실과 문서에 없는 내용을 추측하면 실패라는 조건을 적습니다. 공개 자료나 익명화 자료를 사용합니다.

‘정답과 금지 조건을 만듭니다’ 단계에서 기준으로 삼을 원칙은 “모델 외의 프롬프트·온도·문맥·양자화를 고정합니다.”입니다. 모델 평가는 공개 순위보다 실제 입력에서의 정확성, 지연, 메모리와 반복 일관성을 함께 보는 방식이 안전합니다.

결과를 다시 재현할 수 있도록 시작 전후의 상태와 확인 시각을 함께 남깁니다. 정상 사례뿐 아니라 빈 입력, 자원 부족이나 재시작 같은 실패 조건 하나를 포함하면 이 단계가 어디까지 견디는지 더 분명해집니다.

같은 런타임과 양자화, 시스템 프롬프트, 온도에서 세 번씩 실행합니다. 모델 이름과 버전, 날짜도 기록합니다.

‘조건을 고정해 반복합니다’ 단계에서 기준으로 삼을 원칙은 “자연스러움과 사실 정확성을 별도 점수로 기록합니다.”입니다. 모델 평가는 공개 순위보다 실제 입력에서의 정확성, 지연, 메모리와 반복 일관성을 함께 보는 방식이 안전합니다.

완료 여부는 느낌이 아니라 관찰 가능한 기준으로 정합니다. 같은 입력을 반복했을 때 결과가 유지되는지 확인하고, 달라진다면 버전·설정·데이터 가운데 어떤 조건이 원인인지 좁힌 뒤 다음 단계로 넘어갑니다.

매끄러운 한국어가 정확한 답을 뜻하지 않습니다. 사실 일치, 지시 준수, 표현 자연스러움, 반복 일관성과 속도를 각각 점수화합니다.

‘언어 품질과 사실을 분리합니다’ 단계에서 기준으로 삼을 원칙은 “공개 자료에서 10~20개의 한국어 평가 질문을 만듭니다.”입니다. 모델 평가는 공개 순위보다 실제 입력에서의 정확성, 지연, 메모리와 반복 일관성을 함께 보는 방식이 안전합니다.

표의 항목은 정답표가 아니라 비교 조건을 빠뜨리지 않기 위한 기록 틀입니다. 자신의 장비와 데이터로 값을 채우고, 확인하지 못한 칸은 0이나 추정치로 대신하지 않은 채 ‘미확인’으로 남겨야 이후 비교가 왜곡되지 않습니다.