로컬 AI, 무엇이고 어디서부터 시작해야 할까?

ChatGPT 같은 일반적인 클라우드 서비스는 질문을 원격 서버로 보내고 그곳의 모델이 답을 생성합니다. 로컬 AI는 모델 가중치와 실행 프로그램을 내 컴퓨터에 저장하고, 답을 만드는 추론 과정을 기기 안에서 수행합니다. 모델 다운로드가 끝난 뒤에는 인터넷을 끊어도 기본적인 대화와 요약을 계속할 수 있습니다.

이 차이는 데이터 경로와 비용 구조를 바꿉니다. 반복적인 API 호출 비용 없이 모델을 여러 번 실행할 수 있고, 파일을 외부 서비스에 전송하지 않는 구성을 만들 수 있습니다. 대신 모델 업데이트, 저장 공간, 메모리 관리, 접근 통제는 사용자의 책임이 됩니다.

개인 기록, 내부 초안, 공개 전 문서처럼 외부 전송을 최소화해야 하는 작업은 로컬 실행의 장점이 분명합니다. 네트워크가 불안정한 현장이나 동일한 프롬프트를 수백 번 반복하는 개발 테스트에서도 유용합니다. 모델과 시스템 프롬프트를 자유롭게 바꾸며 실험할 수 있다는 점도 큽니다.

반면 최신 대형 클라우드 모델의 추론 품질, 웹 검색, 대규모 문맥, 여러 도구를 한꺼번에 사용하는 기능이 필요하면 로컬 환경이 불리할 수 있습니다. 특히 작은 모델은 그럴듯하지만 틀린 답을 만들 가능성이 있고, 큰 모델은 메모리와 전력을 많이 요구합니다. 중요한 판단은 사람이 원문과 대조해야 합니다.

첫 프로젝트는 정답이 하나뿐인 고위험 업무보다 결과를 사람이 쉽게 검토할 수 있는 작업이 좋습니다. 예를 들어 이미 알고 있는 문서를 요약하거나, 공개 자료를 정리하거나, 문장 표현을 여러 가지로 바꾸는 작업은 품질을 판단하기 쉽습니다.

회사 문서를 사용하려면 조직의 보안 정책과 모델 라이선스를 먼저 확인해야 합니다. ‘내 PC에서 실행한다’는 사실만으로 회사 데이터 사용 승인이 생기는 것은 아닙니다.

• 회의 메모를 항목별로 정리하고 원문과 대조하기
• 공개된 기술 문서에서 질문·답변 초안 만들기
• 이메일과 보고서의 문체를 바꾸되 사실은 사람이 확인하기
• 개발 중인 애플리케이션의 반복적인 응답 형식 테스트
• 인터넷이 없는 환경에서 번역·교정·아이디어 정리하기

터미널 명령어에 익숙하고 다른 프로그램과 연결할 계획이라면 Ollama가 단순합니다. 모델 검색과 설정을 화면에서 처리하고 싶다면 LM Studio 같은 데스크톱 도구가 편합니다. 더 세밀한 성능 옵션과 다양한 하드웨어 백엔드를 직접 조절하려면 llama.cpp가 적합합니다.

처음부터 세 도구를 모두 설치할 필요는 없습니다. 같은 모델이라도 실행 도구와 설정이 달라지면 결과 비교가 어려워집니다. 첫 주에는 도구 하나를 고정하고 모델만 바꾸는 편이 문제 원인을 찾기 쉽습니다.

모델 이름에 붙는 3B, 8B, 14B 같은 표기는 대략적인 파라미터 규모를 뜻합니다. 숫자가 커질수록 항상 내 작업에서 더 좋은 것은 아니며, 필요한 메모리와 응답 지연도 함께 증가합니다. 처음에는 3B~8B급의 4비트 전후 양자화 모델로 전체 흐름을 확인하는 편이 안전합니다.

저장장치에 모델 파일이 들어간다고 해서 원활히 실행되는 것은 아닙니다. 실행 중에는 모델 가중치 외에도 대화 문맥을 위한 캐시와 프로그램, 운영체제가 메모리를 사용합니다. 목표 모델보다 한 단계 작은 모델로 시작해 실제 문서 길이와 질문으로 테스트한 뒤 크기를 늘리세요.

Ollama를 선택했다면 공식 다운로드 페이지에서 운영체제에 맞는 설치 프로그램을 받고, 설치가 끝난 뒤 터미널 또는 PowerShell을 엽니다. 아래 명령은 예시로 4B급 모델을 내려받아 대화를 시작합니다. 모델 이름과 제공 여부는 실행 시점의 공식 모델 목록에서 다시 확인하세요.

첫 다운로드는 수 GB의 네트워크와 저장 공간을 사용할 수 있습니다. 다운로드가 끝난 뒤 질문 프롬프트가 보이고 답이 생성되면 기본 설치는 성공한 것입니다. 대화를 끝낼 때는 `/bye`를 입력합니다.

# 첫 모델 다운로드와 대화 시작
ollama run gemma3:4b

# 대화 종료
/bye

인터넷의 종합 순위만 보고 모델을 고르면 실제 업무와 맞지 않을 수 있습니다. 자신이 자주 다루는 공개 문서 한 개와 정답을 알고 있는 질문 다섯 개를 준비하세요. 같은 시스템 프롬프트와 설정으로 모델마다 세 번씩 실행하면 일관성과 오류 유형을 비교할 수 있습니다.

속도는 첫 글자가 나올 때까지 걸린 시간과 답변이 이어지는 체감 속도를 따로 기록합니다. 품질은 사실 정확성, 지시 준수, 한국어 자연스러움, 인용한 근거의 일치 여부로 나눠 평가하세요. 긴 답 하나보다 짧은 반복 시험이 모델 특성을 더 잘 보여줍니다.

• 사실 질문: 원문에 있는 숫자와 이름을 정확히 찾는가
• 요약 질문: 핵심을 빠뜨리거나 없는 내용을 추가하지 않는가
• 형식 질문: 표·JSON·목록처럼 요청한 구조를 지키는가
• 거절 시험: 문서에 없는 정보를 추측하지 않고 모른다고 말하는가
• 반복 시험: 같은 질문 세 번의 결론이 크게 달라지지 않는가

첫날의 목표는 최고 성능이 아니라 재현 가능한 기준선을 만드는 것입니다. 도구 버전, 모델 이름, 양자화 종류, 컨텍스트 설정, 테스트 질문을 한 문서에 기록하세요. 나중에 업데이트로 결과가 변했을 때 원인을 찾을 수 있습니다.

민감한 자료는 이 기본 시험이 끝난 뒤에 검토합니다. 네트워크 사용, 로그 저장 위치, 자동 백업, 플러그인 연결을 확인하기 전에는 공개 자료만 사용하세요.

• 도구 하나만 설치
• 작은 모델 하나만 다운로드
• 공개 문서로 기본 시험
• 메모리 사용과 응답 시간 기록
• 네트워크·로그·업데이트 설정 확인