GGUF와 Q4·Q5 양자화, 무엇을 골라야 할까?

GGUF는 모델의 텐서와 토크나이저·구조 같은 메타데이터를 한 파일에 담아 llama.cpp 계열 런타임에서 효율적으로 불러오기 위한 형식입니다. 모델의 학습 데이터나 라이선스가 자동으로 검증되는 형식은 아닙니다.

같은 기반 모델도 변환 방식, 양자화, 메타데이터에 따라 여러 GGUF 파일로 배포될 수 있습니다. 모델 카드와 배포자, 원본 모델 연결을 확인하세요.

원본 가중치의 정밀도를 줄이면 파일과 메모리 요구량이 작아져 개인 장비에서 큰 모델을 실행하기 쉬워집니다. 대신 정보 손실 가능성이 생기고, 작업과 모델에 따라 답변 품질이 달라질 수 있습니다.

Hugging Face의 GGUF 표는 Q4_K를 4.5비트/가중치, Q5_K를 5.5비트, Q6_K를 6.5625비트 수준으로 설명합니다. 이는 전체 실측 메모리가 아니라 가중치 표현의 기준입니다.

가중치 파일 외에도 KV 캐시, 런타임, 운영체제와 다른 앱이 메모리를 사용합니다. 긴 컨텍스트나 동시 요청은 추가 메모리를 크게 늘릴 수 있습니다.

파일이 RAM이나 VRAM에 간신히 들어가는 구성은 스와핑과 CPU 오프로딩으로 체감 속도가 급격히 낮아질 수 있습니다. 최대 크기보다 안정적으로 반복 실행되는 크기를 선택하세요.

같은 기반·튜닝 모델의 Q4_K 계열을 기준으로 실행한 뒤 메모리 여유가 있다면 Q5_K 계열을 같은 조건으로 비교합니다. 모델 크기와 양자화를 동시에 바꾸지 마세요.

한국어 요약, 사실 추출, JSON 형식, 긴 문서처럼 실제 사용 작업을 섞어 최소 세 번 반복합니다.

• 동일 모델·동일 런타임 유지
• temperature와 컨텍스트 고정
• 첫 응답 지연과 생성 속도 분리
• 정답·형식 준수·일관성 기록
• 메모리 최고치와 오류 확인

K 계열은 블록별로 다른 양자화 방식을 조합하는 계열이며 배포 파일에 M이나 S가 추가되기도 합니다. 표기의 세부 의미와 생성 옵션은 도구·버전에 따라 달라질 수 있으므로 배포자의 모델 카드와 llama.cpp 문서를 확인하세요.

‘Q4가 언제나 Q5보다 나쁘다’거나 ‘M이 모든 모델에서 최선’이라는 단일 규칙은 없습니다. 내 평가 세트에서 차이가 없다면 더 작은 파일이 실용적일 수 있습니다.

모델 파일도 파서 취약점과 공급망 위험의 대상입니다. 신뢰할 수 있는 배포자와 공식 연결을 확인하고, 제공되는 경우 해시를 검증하며, 실행 엔진을 업데이트하세요.

라이선스는 GGUF 변환으로 바뀌지 않습니다. 상업적 사용이나 재배포 전 원본 모델의 조건을 확인해야 합니다.