Kjør Qwen3.8-27B

Denne siden kjører Qwen3.8-27B på en GPU-server med Ollama eller llama.cpp. NVIDIA-driveren må være installert først, se Linux eller Windows.

Qwen3.8-27B er en åpen modell (Apache 2.0) med 27 milliarder parametere, valgfri tenking steg for steg, verktøykall og bildeinput. I full presisjon trenger den rundt 54 GB, så den kjøres kvantisert: vektene er komprimert til 4 til 8 bit per parameter i en GGUF-fil. Begge verktøyene under bruker GGUF-filer og kjører på Turing-kortene.

Hvilken kvantisering som passer

Testet på en GPU-2-server, med modellen på ett kort for å etterligne GPU-1. Hastighetene er genererte tokens per sekund for én chat, målt med llama.cpp.

Pakke	Modellfil	Størrelse	Kontekst	VRAM brukt	Hastighet
GPU-1	UD-Q4_K_XL	17,6 GB	32 768	19,9 GB	rundt 29 tokens/s
GPU-2	UD-Q4_K_XL	17,6 GB	262 144 (full)	18,2 + 18,4 GB	rundt 29 tokens/s
GPU-2	Q8_0	29,0 GB	65 536	16,8 + 16,2 GB	rundt 19 tokens/s

På ett kort gir 4-bit plass til en kontekst på 32 768 tokens; større filer gir mindre plass. På GPU-2 velger du mellom full kontekst på 262 144 tokens med 4-bit og nesten tapsfrie 8-bit-vekter med lavere hastighet. Hastigheten øker ikke med kort nummer to: llama.cpp legger halvparten av lagene på hvert kort og kjører dem etter hverandre.

Ollama

Ollama er korteste vei til en modell som kjører. Den installeres som en tjeneste, laster ned modellen første gang du bruker den og fordeler den over alle kortene den finner.

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3.8:27b

qwen3.8:27b er en 4-bit-versjon på 17 GB. Installasjonen avslutter med >>> NVIDIA GPU installed. når den har funnet driveren. Det første svaret etter at modellen er lastet kan ta et minutt eller mer mens skjermkortet varmes opp; etter det svarte den med 36 til 49 tokens/s i testene våre.

Tenking er på som standard. Slå den av for én kjøring med --think=false, og legg til --verbose for å få hastigheten skrevet ut etter hvert svar:

$ ollama run qwen3.8:27b --verbose --think=false "Explain what a GPU is in three sentences."
...
prompt eval rate:     106.00 tokens/s
eval count:           89 token(s)
eval rate:            36.64 tokens/s

ollama ps viser hvordan modellen er plassert (100% GPU betyr at ingenting kjører på CPU-en) og kontekststørrelsen Ollama valgte, som avhenger av ledig VRAM og Ollama-versjonen (32 768 og 262 144 tokens i testene våre). Ollama-API-et lytter på 127.0.0.1:11434.

llama.cpp

llama.cpp er motoren under Ollama. Bruker du den direkte, får du hvilken som helst GGUF-fil, full kontroll over kontekst og plassering, en nettchat og et OpenAI-kompatibelt API.

Bygg den

Den bygges fra kildekoden mot CUDA-verktøyene, så installer driveren med cuda-toolkit først. Byggeavhengigheter på Ubuntu og Debian:

apt install -y git cmake libcurl4-openssl-dev libssl-dev

På AlmaLinux:

dnf install -y git cmake gcc-c++ libcurl-devel openssl-devel

Bygg deretter. CMAKE_CUDA_ARCHITECTURES=75 kompilerer bare for RTX 6000, noe som sparer tid. Byggingen tar rundt 7 minutter på de 8 vCPU-ene.

export PATH=/usr/local/cuda/bin:$PATH
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=75
cmake --build build --config Release -j 8 --target llama-server llama-cli

Start serveren

-hf laster ned filen fra Hugging Face ved første start og mellomlagrer den under ~/.cache/huggingface/hub.

GPU-1:

build/bin/llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -c 32768 --port 8080

GPU-2, 8-bit:

build/bin/llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q8_0 -c 65536 --port 8080

GPU-2, 4-bit med full kontekst:

build/bin/llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -c 262144 --port 8080

Modellen er klar når loggen viser llama_server: listening on http://127.0.0.1:8080. På GPU-2 fordeles den automatisk over begge kortene. For å låse den til ett kort starter du den med CUDA_VISIBLE_DEVICES=0 foran, og kjører en modell nummer to på kort 1 med CUDA_VISIBLE_DEVICES=1 og en annen port.

Nedlastingen henter også mmproj-BF16.gguf, som lar modellen lese bilder du legger ved i chatten.

Chat i nettleseren

llama-server lytter bare på 127.0.0.1, så den kan ikke nås fra internett. Åpne en SSH-tunnel fra din egen maskin og gå til http://localhost:8080 i nettleseren:

ssh -L 8080:127.0.0.1:8080 root@your-server-ip

ADVARSEL

Ikke start llama-server med --host 0.0.0.0 uten at du også setter --api-key. Uten den kan alle som finner porten, bruke modellen: loggen advarer med no API key is set and CORS allows all origins. Åpner du den, begrens porten til din egen IP i Brannmur.

Bruk API-et

Serveren snakker OpenAIs chat-API på /v1/chat/completions, så OpenAIs klientbiblioteker virker med basis-URL-en http://127.0.0.1:8080/v1.

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Write a Python function that checks if a string is a palindrome. Keep it short."}],
    "chat_template_kwargs": {"enable_thinking": false},
    "temperature": 0.7, "top_p": 0.8, "top_k": 20
  }'

Svaret:

```python
def is_palindrome(s: str) -> bool:
    return s == s[::-1]
```

Svaret har også et timings-objekt med hastigheten for prompt og generering.

Tenking eller ikke

Qwen3.8 tenker før den svarer med mindre du sier noe annet. Tenkingen returneres for seg (reasoning_content i API-et) og vises under Reasoning i nettchatten. Den gir bedre svar på vanskelige spørsmål og koster tid på enkle.

• Slå den av per forespørsel med "chat_template_kwargs": {"enable_thinking": false}.
• Gjør den kortere med "chat_template_kwargs": {"reasoning_effort": "low"}. Malen til modellen godtar xhigh (standard), medium og low; alle andre verdier avvises med Unexpected reasoning effort.

Qwen anbefaler temperature 1.0, top_p 0.95 og top_k 20 med tenking på, og temperature 0.7, top_p 0.8, top_k 20 og presence_penalty 1.5 med den av.

Windows

Begge verktøyene kjører på Windows Server 2025 når NVIDIA-driveren er installert. Jobb i PowerShell over Remote Desktop.

Ollama

Last ned og kjør OllamaSetup.exe. Ollama kjører deretter i bakgrunnen, og de samme kommandoene som på Linux virker i PowerShell:

ollama run qwen3.8:27b --verbose --think=false "Explain what a GPU is in three sentences."

Den svarte med 28,7 tokens/s på en GPU-2-server.

llama.cpp

På Windows laster du ned en ferdig bygget versjon i stedet for å kompilere:

1. Installer Visual C++-runtime. Uten den avslutter llama.cpp med en gang uten melding (avslutningskode -1073741515).
2. Last ned llama-<build>-bin-win-cuda-12.4-x64.zip og cudart-llama-bin-win-cuda-12.4-x64.zip fra llama.cpp-utgivelsene og pakk ut begge i samme mappe, for eksempel C:\llama.

Velg CUDA-versjonen i filnavnet ut fra CUDA Version som nvidia-smi viser. Med driver 597.16 (CUDA 13.2) finner cuda-13.4-versjonen kortene, men stopper når modellen lastes med CUDA error: the provided PTX was compiled with an unsupported toolchain. cuda-12.4-versjonen virker.

På en nyinstallert Windows Server kan -hf feile med SSL server verification failed: Windows har ennå ikke hentet rotsertifikatet til Hugging Face. Åpne nettstedet én gang fra PowerShell og prøv igjen:

Invoke-WebRequest https://huggingface.co -UseBasicParsing | Out-Null

Start serveren på samme måte som på Linux:

cd C:\llama
.\llama-server.exe -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL -c 32768 --port 8080

Modellen mellomlagres under C:\Users\<user>\.cache\huggingface\hub. Åpne http://127.0.0.1:8080 i en nettleser på serveren for nettchatten. Den genererte 26 til 27 tokens/s med modellen på ett kort og på begge. Det første svaret etter oppstart var tregere (under 10 tokens/s) mens skjermkortet ble varmet opp.