8GB VRAM GPU장비에 GLM-4.7-Flash-GGUF 설치
1. llama.cpp 설치
winget install llama.cpp
설치확인
llama-server --version
2. 파워셸에서 아래 실행 명령어 입력하기
llama-server `
-hf unsloth/GLM-4.7-Flash-GGUF:UD-Q3_K_XL `
--ctx-size 32768 `
--jinja `
-ub 2048 `
-b 2048 `
-fa on `
-t 6 `
--temp 1.0 `
--top-p 0.95 `
--host 0.0.0.0 `
--port 9931
-hf unsloth/GLM-4.7-Flash-GGUF:UD-Q3_K_XL `
--ctx-size 32768 `
--jinja `
-ub 2048 `
-b 2048 `
-fa on `
-t 6 `
--temp 1.0 `
--top-p 0.95 `
--host 0.0.0.0 `
--port 9931