LLM PC에 Ollama 설치, gemma3:4b 설치
조건
조건 1. RAG프로젝트와 LLM PC(Ollama 설치하는 PC)는 별개임
조건 2. LLM PC(Ollama 설치하는 PC)의 GPU램은 8기가임 (GPU: VRAM 8GB)
따라서 gemma3:4b 약 3.3GB의 Q4 모델 을 사용하려고 함.
1. LLM PC에 Ollama 설치
https://ollama.com/ 접속해서 Ollama 다운로드 및 설치
2. gemma3:4b 다운로드
cmd에서 아래 명령어 입력
ollama pull gemma3:4b
3. 로컬에서 Gemma 정상 응답 확인
3-1. 모델이 설치됐는지 확인
설치 후 확인
ollama list
3-2. Gemma를 직접 실행
ollama run gemma3:4b
입력 대기 상태가 나오면 아래처럼 입력
대한민국의 수도는 어디야?
파워셸에서 아래 명령어 입력
$body = @{
model = "gemma3:4b"
prompt = "대한민국의 수도는 어디야?"
stream = $false
} | ConvertTo-Json
Invoke-RestMethod `
-Uri "http://localhost:11434/api/generate" `
-Method POST `
-ContentType "application/json; charset=utf-8" `
-Body ([System.Text.Encoding]::UTF8.GetBytes($body))
model = "gemma3:4b"
prompt = "대한민국의 수도는 어디야?"
stream = $false
} | ConvertTo-Json
Invoke-RestMethod `
-Uri "http://localhost:11434/api/generate" `
-Method POST `
-ContentType "application/json; charset=utf-8" `
-Body ([System.Text.Encoding]::UTF8.GetBytes($body))
4. Ollama를 내부망에 11434로 공개
5. RAG 서버 → Ollama PC 통신 확인
6. 현재 Groq 설정을 Ollama로 변경
7. LangChain4j에서 실제 RAG 질의