8GB VRAM GPU장비에 Qwen3.6-35B-A3B MTP 설치
1. llama.cpp 설치
winget install llama.cpp
설치확인
llama-server --version
2. 파워셸에서 아래 실행 명령어 입력하기
llama-server `
-hf unsloth/Qwen3.6-35B-A3B-MTP-GGUF:UD-Q3_K_XL `
-ngl 99 `
-ncmoe 35 `
-fa on `
-t 6 `
-np 1 `
-ub 2048 `
-c 65536 `
-ctk q8_0 `
-ctv q8_0 `
-rea off `
--spec-type draft-mtp `
--spec-draft-n-max 2 `
--temp 1.0 `
--top-p 0.95 `
--top-k 20 `
--min-p 0.0 `
--host 0.0.0.0 `
--port 9931
-hf unsloth/Qwen3.6-35B-A3B-MTP-GGUF:UD-Q3_K_XL `
-ngl 99 `
-ncmoe 35 `
-fa on `
-t 6 `
-np 1 `
-ub 2048 `
-c 65536 `
-ctk q8_0 `
-ctv q8_0 `
-rea off `
--spec-type draft-mtp `
--spec-draft-n-max 2 `
--temp 1.0 `
--top-p 0.95 `
--top-k 20 `
--min-p 0.0 `
--host 0.0.0.0 `
--port 9931