로컬 LLM, 순위표 대신 내 업무로 평가하는 법

‘가장 똑똑한 모델 찾기’는 비교 범위가 끝없이 커집니다. 대신 ‘한국어 고객 문의에서 근거 없는 환불 약속을 하지 않는 모델’처럼 작업, 언어, 실패 조건을 적습니다.

사용할 장비와 허용 지연, 최대 메모리도 함께 정하면 점수는 높지만 운영할 수 없는 모델을 일찍 제외할 수 있습니다.

자주 발생하는 정상 질문, 드문 예외, 답이 없는 질문, 지시 충돌과 형식 요구를 섞습니다. 각 항목에는 기대 답의 핵심과 확인할 원문을 붙입니다.

실제 민감 데이터를 그대로 평가 파일에 복사하지 말고 익명화하거나 공개 자료로 동등한 구조를 만듭니다.

프롬프트, temperature, 컨텍스트, 런타임 버전과 장비 상태를 기록합니다. 모델 크기와 양자화를 동시에 바꾸면 어떤 변화가 결과에 영향을 줬는지 알 수 없습니다.

첫 실행은 모델 적재 시간이 포함될 수 있으므로 첫 응답과 반복 응답을 구분합니다. 각 질문을 세 번 이상 실행해 결론과 형식의 변동도 봅니다.

정확성, 지시 준수, 근거 일치, 한국어 자연스러움은 품질 항목입니다. 첫 응답 지연, 생성 시간, 최고 메모리, 실패율은 운영 항목입니다.

중요한 업무에서는 평균보다 치명적 오류 한 번이 더 중요할 수 있습니다. 금지 조건을 위반하면 전체 후보에서 제외하는 게이트를 둘 수 있습니다.

• 사실 정확성 0~2점
• 요청 형식 준수 0~2점
• 근거와 인용 일치 0~2점
• 반복 일관성 0~2점
• 허용 지연·메모리 충족 여부
• 치명적 오류 발생 여부

모델의 전체 이름과 해시 또는 버전, 양자화, 런타임, 설정, 날짜를 기록합니다. ‘빠름’ 대신 초 단위 측정값을, ‘좋음’ 대신 항목별 점수와 오류 예시를 남깁니다.

개별 답변 원문을 보관하면 점수 차이를 다시 검토할 수 있습니다. 다만 평가 로그에도 민감 정보가 남지 않도록 보존 정책을 적용하세요.

새 모델이 나올 때마다 운영 모델을 바꾸면 재검증 비용과 예기치 않은 회귀가 커집니다. 현재 모델의 필수 기준을 정하고 새 후보가 의미 있는 차이로 넘을 때만 교체합니다.

업데이트 후 같은 평가 세트를 다시 실행하고 최악 사례를 사람이 확인합니다. 문제가 생겼을 때 되돌릴 수 있도록 기존 모델과 설정을 일정 기간 보존하세요.