8GB VRAM GPU장비에 GLM-4.7-Flash-GGUF 설치 (CUDA)

8GB VRAM GPU장비에 GLM-4.7-Flash-GGUF 설치 (CUDA)

1. 공식 파일 2개 다운로드
llama.cpp 공식 b11433 릴리스 : https://github.com/ggml-org/llama.cpp/releases/tag/b11433

다음 2개 파일 다운로드.
(1) Windows x64 (CUDA 12) 링크 클릭 : llama-b11433-bin-win-cuda-12.4-x64.zip
(2) CUDA 12.4 DLLs 링크 클릭 : cudart-llama-bin-win-cuda-12.4-x64.zip

2. 별도 폴더에 같이 압축해제
예를 들어
C:\llama-cuda\ 하위에 압축해제한다.

결과적으로 대략
C:\llama-cuda\
llama-server.exe
llama-cli.exe
ggml-cuda.dll
cudart64_12.dll
cublas64_12.dll
...
같은 식이 됨.

3. CUDA 인식 확인
그냥 llama-server라고 치면 PATH에 등록된 기존 Vulkan WinGet 버전이 실행되므로
반드시 다음과 같이 실행
C:\llama-cuda\llama-server.exe --version

결과가 아래와 같으면 됨
version: 0.6.0-dev
build 11433
commit 50569eb...