8GB VRAM GPU장비에 GPT-OSS 20B 설치
1. llama.cpp 설치
winget install llama.cpp
설치확인
llama-server --version
2. 파워셸에서 아래 실행 명령어 입력하기
(공식 RTX 2060 8GB / GPT-OSS 20B / 32K 예제)
llama-server `
-hf ggml-org/gpt-oss-20b-GGUF `
--ctx-size 32768 `
--jinja `
-ub 2048 `
-b 2048 `
--n-cpu-moe 16
출처 : https://github.com/ggml-org/llama.cpp/discussions/15396-hf ggml-org/gpt-oss-20b-GGUF `
--ctx-size 32768 `
--jinja `
-ub 2048 `
-b 2048 `
--n-cpu-moe 16
기타 옵션 추가한 실행 명령어
llama-server `
-hf ggml-org/gpt-oss-20b-GGUF `
--ctx-size 32768 `
--jinja `
-ub 2048 `
-b 2048 `
-ngl 99 `
-fa on `
--n-cpu-moe 16 `
--temp 1.0 `
--top-p 1.0 `
--host 0.0.0.0 `
--port 9931
-hf ggml-org/gpt-oss-20b-GGUF `
--ctx-size 32768 `
--jinja `
-ub 2048 `
-b 2048 `
-ngl 99 `
-fa on `
--n-cpu-moe 16 `
--temp 1.0 `
--top-p 1.0 `
--host 0.0.0.0 `
--port 9931