보통 ubuntu desktop에서는 nvidia 드라이버를 설치한 후 cuda를 설치하는 식으로 진행했습니다. cuda 설치 후 nvcc 명령어를 실행하면 sudo apt install nvidia-cuda-toolkit 을 진행하라고 하는 메시지가 뜨기도 하고..(path 연결의 문제였겠지만) nvidia 드라이버는 ubuntu-drivers를 이용해 설치하다가 IDC 서버에서는 드라이버가 호환되지 않고 꼬인 경우가 많아서 곤란했던 적이 많았습니다.(특히 일반 RTX 3000 시리즈가 아닌 아닌 Tesla 시리즈.. 40GB짜리 A100 같은 아이가 설치된 서버..) 그래서 이후 안전한 설치 방식은 cuda에 딸려오는 그래픽 드라이버를 사용하는 것이라고 생각하여 이 글을 작성하게 되었습니다. 1.기본적인 쿠다 설치 절차 진행 시 그래픽카드 드라이버가 함께 설치됩니다. ex) CUDA 11.7 설치(nvidia 설치 페이지에서 deb(local)의 절차를 진행합니다. 이후 ~/.bashrc 에서 마지막줄에 export PATH=/usr/local/cuda-11.7/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH 를 해주고 source ~/.bashrc를 해주면 nvcc -V 를 통해 cuda 인식이 가능합니다. 2.nvidia-smi 실행(출처 : https://cmaven.github.io/linux/nvidia-smi-error-version/ ) 이후 nvidia-smi를 하려고 하면 Failed to initialize NVML: Driver/library version mismatch 가 발생하는데, 이를 해결하기 위해선 출처에서 제공하는 절차를 따라가야 합니다. lsof /dev/nvidia* 를 실행하여 PID를 확인한 후, sudo kill -9 [PID] 를 모두 진행해주어 rmmod를 가능하게 해야 합니다. 저는 rmmod 명령어를 쓸 때 rmmod nvidia_uvm sudo rmmod nvidia_drm rmmod nvidia_modeset rmmod nvidia 순으로 진행하였습니다. 이후 두려움을 안은 채 reboot을 시도했고 nvidia-smi와 nvcc 명령어가 모두 잘 작동하는 것을 확인 후 높은 VRAM으로 트레이닝을 만끽할 수 있었습니다😊