디독

Vulkan, CUDA 비교

vulkan.ps1

$log = "llama-glm-vulkan-$(Get-Date -Format 'yyyyMMdd-HHmmss').log"

llama-server `
  -hf unsloth/GLM-4.7-Flash-GGUF:UD-Q3_K_XL `
  --ctx-size 32768 `
  --jinja `
  --load-mode none `
  --reasoning off `
  -ub 2048 `
  -b 2048 `
  -fa on `
  -t 6 `
  --temp 1.0 `
  --top-p 0.95 `
  --host 0.0.0.0 `
  --port 9931 2>&1 | Tee-Object -FilePath $log


cuda.ps1

$log = "llama-glm-cuda-$(Get-Date -Format 'yyyyMMdd-HHmmss').log"

& 'C:\llama-cuda\llama-server.exe' `
  -hf unsloth/GLM-4.7-Flash-GGUF:UD-Q3_K_XL `
  --ctx-size 32768 `
  --jinja `
  --load-mode none `
  --reasoning off `
  -ub 2048 `
  -b 2048 `
  -fa on `
  -t 6 `
  --temp 1.0 `
  --top-p 0.95 `
  --host 0.0.0.0 `
  --port 9931 2>&1 | Tee-Object -FilePath $log


※ 실행하기 전에 C:\Users\thkmo\git\cogent\.cogent\reproductions 하위에 vulkan-cold-01 폴더가 있다면 삭제 후 재시도

Set-Location C:\Users\thkmo\git\cogent

$replayRequest = '.\.cogent\reproductions\failure-ff786866\request.json'

.\cogent\bin\llamacpp-replay.ps1 -Mode run `
  -Request $replayRequest `
  -Url 'http://devserver:9931' `
  -Label 'vulkan-cold-01' `
  -OutputDirectory '.\.cogent\reproductions\vulkan-cold-01'


※ 실행하기 전에 C:\Users\thkmo\git\cogent\.cogent\reproductions 하위에 cuda-cold-01 폴더가 있다면 삭제 후 재시도

Set-Location C:\Users\thkmo\git\cogent

$replayRequest = '.\.cogent\reproductions\failure-ff786866\request.json'

.\cogent\bin\llamacpp-replay.ps1 -Mode run `
  -Request $replayRequest `
  -Url 'http://devserver:9931' `
  -Label 'cuda-cold-01' `
  -OutputDirectory '.\.cogent\reproductions\cuda-cold-01'