隨著深度學習模型（特別是大型語言模型）不斷變大，開發和本地使用它們對更多GPU內存（VRAM）的需求也在不斷增加。構建或獲取多GPU機器只是挑戰的第一部分。大多數庫和應用程序默認只使用一個GPU。因此，機器還需要有適當的驅動程序以及可以利用多GPU設置的庫。

這篇文章提供了如何在多GPU（Nvidia）Linux機器上設置重要庫（如CUDA Toolkit和PyTorch）的指南。這將希望節省你在實驗上的時間，并讓你開始你的開發。最后，提供了可以利用多GPU設置進行深度學習的流行開源庫的鏈接。

目標：設置一個帶有必要庫（如CUDA Toolkit和PyTorch）的多GPU Linux系統，以開始深度學習。（相同的步驟也適用于單GPU機器）

我們將安裝：

1）CUDA Toolkit

2）PyTorch

3）Miniconda

以開始使用exllamaV2和torchtune等框架進行深度學習。

開始

使用終端中的nvidia-smi命令檢查機器中安裝的GPU數量。它應該打印出所有已安裝GPU的列表。如果有任何差異或命令不起作用，請首先為你的Linux版本安裝Nvidia驅動程序。確保nvidia-smi命令打印出你的機器中安裝的所有GPU的列表，如上圖所示。

步驟1 安裝CUDA Toolkit

檢查usr/local/cuda-xx中是否有現有的CUDA文件夾。這意味著已經安裝了一個版本的CUDA。如果你已經安裝了所需的CUDA工具包（在終端中檢查nvcc命令），請跳到步驟2。

檢查你所需的PyTorch庫所需的CUDA版本：

基礎安裝程序的終端命令將根據你選擇的選項出現。復制并粘貼它們在你的Linux終端中運行以安裝CUDA工具包。例如，對于x86_64 Ubuntu 22，通過在下載文件夾中打開終端運行以下命令：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

在安裝CUDA工具包時，安裝程序可能會提示內核更新。如果在終端中出現任何彈出窗口以更新內核，請按esc鍵取消。在此階段不要更新內核！— 它可能會破壞你的Nvidia驅動程序。安裝完成后重新啟動Linux機器。nvcc命令仍然不起作用。你需要將CUDA安裝添加到PATH。使用nano編輯器打開.bashrc文件。

nano /home/$USER/.bashrc

滾動到.bashrc文件的底部并添加這兩行：

export PATH="/usr/local/cuda-12.1/bin:$PATH"
 export LD_LIBRARY_PATH="/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH"

注意你可以將cuda-12.1更改為你安裝的CUDA版本，如果將來需要，cuda-xx，'xx'是你的CUDA版本。

保存更改并關閉nano編輯器：

 To save changes - On you keyboard, press the following: 

 ctrl + o             --> save 
 enter or return key  --> accept changes
 ctrl + x             --> close editor

關閉并重新打開終端。現在nvcc--version命令應該在終端中打印出已安裝的CUDA版本。

步驟2 安裝Miniconda

在我們安裝PyTorch之前，最好先安裝Miniconda，然后在Conda環境中安裝PyTorch。為每個項目創建一個新的Conda環境也很有用。在下載文件夾中打開終端并運行以下命令：

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh


# initiate conda
~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh

關閉并重新打開終端。現在conda命令應該可以工作。

步驟3 安裝PyTorch

（可選）— 為你的項目創建一個新的conda環境。

conda create -n <environment-name> python=3.11

# activate the environment
conda activate <environment-name>

為你的CUDA版本安裝PyTorch庫。以下是我們安裝的cuda-12.1的命令：

pip3 install torch torchvision torchaudio

PyTorch安裝后，在終端中檢查PyTorch可見的GPU數量。

python

>> import torch
>> print(torch.cuda.device_count())
8

這應該打印出系統中安裝的GPU數量（我的情況下是8），也應該與nvidia-smi命令中列出的GPU數量相匹配。