NVIDIA-drivere på Linux

Denne siden installerer NVIDIA-driveren og CUDA-verktøyene på en GPU-server fra NVIDIAs egen pakkebrønn, på Ubuntu 24.04, Debian 13 eller AlmaLinux 10.

Driveren bygges som en kjernemodul med DKMS, og det er derfor kompilatoren og kjerneheaderne trengs. DKMS bygger modulen på nytt av seg selv etter en kjerneoppdatering.

nvidia-open er kjernemodulen NVIDIA anbefaler for disse kortene. cuda-toolkit trengs bare for å bygge CUDA-kode, for eksempel llama.cpp. Ollama og PyTorch har med seg sin egen CUDA-runtime og trenger bare driveren, så dropp cuda-toolkit hvis det er alt du kjører. Vi testet med driver 615.71.09 og CUDA 13.4; pakkebrønnen gir deg det som er nyest.

Secure Boot er slått av på GPU-serverne, så den selvbygde modulen lastes uten signering. En nyinstallert server laster nouveau-driveren for kortene; NVIDIA-pakkene svartelister den, og den er borte etter omstarten til slutt.

Ubuntu 24.04

Oppdater først. Hvis oppgraderingen tar inn en ny kjerne, sørger omstarten for at det er den som kjører, så headerne du installerer etterpå passer til den.

apt update && apt full-upgrade -y
reboot

Installer byggeverktøyene og headerne, legg til NVIDIAs pakkebrønn og installer driveren og CUDA-verktøyene:

apt install -y build-essential linux-headers-$(uname -r)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i cuda-keyring_1.1-1_all.deb
apt update
apt install -y nvidia-open cuda-toolkit
reboot

For en annen Ubuntu-versjon bytter du ut ubuntu2404 i URL-en (ubuntu2204 for 22.04, ubuntu2604 for 26.04). Fortsett med Sjekk at det virker.

Debian 13

Minimalinstallasjonen av Debian har ikke curl; installer den sammen med resten hvis du skal bruke den senere (det gjør Ollama-installasjonen).

apt update && apt full-upgrade -y
reboot

apt install -y build-essential linux-headers-$(uname -r) curl
wget https://developer.download.nvidia.com/compute/cuda/repos/debian13/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i cuda-keyring_1.1-1_all.deb
apt update
apt install -y nvidia-open cuda-toolkit
reboot

For Debian 12 bytter du ut debian13 med debian12 i URL-en.

AlmaLinux 10

DKMS-pakken kommer fra EPEL, og EPEL trenger CRB-pakkebrønnen.

dnf upgrade -y
reboot

dnf install -y epel-release
dnf config-manager --set-enabled crb
dnf install -y kernel-devel-$(uname -r) kernel-headers gcc make dkms
dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel10/x86_64/cuda-rhel10.repo
dnf install -y nvidia-open cuda-toolkit
reboot

For AlmaLinux 9 bruker du rhel9 i URL-en til pakkebrønnen.

Sjekk at det virker

Etter den siste omstarten viser nvidia-smi kortene. Dette er en GPU-2-server:

$ nvidia-smi
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 615.71.09              KMD Version: 615.71.09     CUDA UMD Version: 13.4     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Quadro RTX 6000                On  |   00000000:01:00.0 Off |                  Off |
| 33%   28C    P0             51W /  260W |       1MiB /  24576MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  Quadro RTX 6000                On  |   00000000:02:00.0 Off |                  Off |
| 33%   30C    P0             53W /  260W |       1MiB /  24576MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Off i ECC-kolonnen er standard, se ECC-minne. CUDA-kompilatoren installeres under /usr/local/cuda og ligger ikke i PATH som standard:

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
nvcc --version

Når nvidia-smi feiler

• NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver: modulen er ikke lastet. Kjør dkms status. Den skal vise nvidia/<version>, <kernel>, x86_64: installed for kjernen i uname -r. Mangler kjernen i listen, ble ikke headerne for den installert: installer dem (linux-headers-$(uname -r) eller kernel-devel-$(uname -r)), kjør dkms autoinstall og start på nytt.
• Serveren kommer ikke tilbake etter en omstart: åpne Konsoll for å se hvor oppstarten stoppet.