서비스는 실행 중인데 모델 요청은 실패했던 날

헬스체크는 응답해도 비즈니스 요청이 실패할 수 있습니다. 요청이 실패하면 먼저 요청 페이로드와 모델명을 고정해 단일 시나리오로 재현하세요.

요청 템플릿이 달라지면 서비스는 살아 있는데 특정 모델로 들어올 때만 실패하는 패턴을 만들 수 있습니다.

검증할 때는 모델·런타임 버전, 입력 자료, 주요 설정과 결과를 한 묶음으로 저장합니다. 다른 조건을 그대로 둔 채 한 요소만 바꾸어 다시 실행하고, 예상과 다른 결과와 아직 확인하지 못한 한계까지 기록해야 이 설명을 자신의 환경에 안전하게 적용할 수 있습니다.

1) 요청한 모델이 존재하는지 확인

2) 모델이 로드 가능한 상태인지 확인

3) 동시 요청량과 컨텍스트 길이를 확인

4) 라우팅 주소와 경로가 동일한지 확인

• 헬스 엔드포인트와 작업 엔드포인트 분리
• 실패 시 상태 코드 수집
• 동일 프롬프트로 3회 반복
• 실패 패턴별 원인 로그 태깅

모든 설정을 바꾸기 전에 실패 요청의 최소 재현 템플릿을 만들고 고정합니다.

같은 템플릿이 실패하면 모델/워커 상태부터, 아니면 공유기·포트·인증 순으로 바깥 계층을 점검합니다.

완료 여부는 느낌이 아니라 관찰 가능한 기준으로 정합니다. 같은 입력을 반복했을 때 결과가 유지되는지 확인하고, 달라진다면 버전·설정·데이터 가운데 어떤 조건이 원인인지 좁힌 뒤 다음 단계로 넘어갑니다.

서비스 가동은 운영팀에서 보기 쉬운 지표입니다. 요청 성공률은 운영팀에서 놓치기 쉬운 지표이므로 분리해 모니터링해야 합니다.

실패율이 낮게 보이도록 하려면 로그를 평균으로만 볼 게 아니라 실패 구간별 분리 집계를 유지하세요.

검증할 때는 모델·런타임 버전, 입력 자료, 주요 설정과 결과를 한 묶음으로 저장합니다. 다른 조건을 그대로 둔 채 한 요소만 바꾸어 다시 실행하고, 예상과 다른 결과와 아직 확인하지 못한 한계까지 기록해야 이 설명을 자신의 환경에 안전하게 적용할 수 있습니다.

서비스 관리자의 active 표시는 프로세스가 종료되지 않았다는 뜻에 가깝습니다. Ollama의 `/api/tags`는 디스크에 사용 가능한 모델을, `/api/ps`는 현재 메모리에 올라온 모델과 컨텍스트 길이·VRAM 크기·만료 시각을 보여 줍니다. 어느 쪽도 실제 생성 성공을 대신하지 않습니다.

마지막 단계는 모델명을 명시한 최소 생성 요청입니다. 세 결과를 같은 시각에 저장하면 ‘서비스 미기동’, ‘모델 없음’, ‘모델 미적재’, ‘추론 중 실패’를 섞지 않고 판단할 수 있습니다.

curl -sS http://localhost:11434/api/tags
curl -sS http://localhost:11434/api/ps
curl -sS http://localhost:11434/api/generate -d '{
  "model": "YOUR_MODEL",
  "prompt": "Reply with exactly: READY",
  "stream": false,
  "keep_alive": "5m"
}'

연결 거부나 시간 초과라면 주소·포트·프로세스 계층을 먼저 봅니다. HTTP 응답이 왔지만 모델을 찾지 못한다면 요청의 모델 키와 로컬 목록을 대조합니다. 생성 도중 종료된다면 메모리, 컨텍스트, 런타임 로그를 확인합니다.

Ollama 생성 응답에는 전체 시간, 모델 적재 시간, 프롬프트 평가와 생성 시간이 포함될 수 있습니다. 첫 요청만 느리고 다음 요청이 정상이라면 실패가 아니라 콜드 로드일 수 있으므로, 첫 실행과 반복 실행을 분리해 기록해야 합니다.

• HTTP 상태와 오류 본문을 함께 저장
• 요청한 정확한 모델 문자열과 `/api/tags` 결과 비교
• 첫 요청과 같은 요청의 두 번째 실행 시간을 분리
• 긴 컨텍스트와 동시 요청은 최소 요청 통과 후 별도 시험

운영 준비 판정은 헬스 화면의 초록색 표시가 아니라, 고정 모델과 고정 입력으로 세 번 연속 정상 종료하고 기대한 형식이 돌아오는지로 정합니다. 장문 입력과 동시성은 별도의 부하 단계로 올립니다.

LM Studio에서는 `lms server status`, `lms ls`, `lms ps`와 실제 API 요청을 같은 순서로 사용할 수 있습니다. JIT 적재 여부에 따라 모델 목록의 의미가 달라질 수 있으므로 서버 설정도 기록합니다.