도커에서 vllm 사용 설정 가이드

도커에서 vllm 사용 설정 가이드 # 도커에서 gpu를 사용하기 위한 기본설정 호스트 쪽 ✅ NVIDIA 드라이버 ✅ Docker ✅ NVIDIA Container Toolkit (nvidia-container-toolkit) 이미지/컨테이너 쪽 ✅ CUDA / cuDNN 라이브러리 포함된 베이스 이미지 (또는 vLLM/Qwen 공식 이미지) 1. 호스트(서버)에 필요한 것 (1) NVIDIA 드라이버 (반드시 호스트에만 설치) nvidia-smi 잘 나오면 OK  컨테이너 안에는 드라이버 설치하면 안 됨 → 드라이버는 “호스트 전용”, 컨테이너는 라이브러리(CUDA, cuDNN)만 있으면 됨. (2) Docker + NVIDIA Container Toolkit GPU를 Docker에 연결해주는 게 NVIDIA Container Toolkit 이라서 필요. NVIDIA Container Toolkit (nvidia-container-toolkit) 툴킷은 도커 내부에 gpu를 사용할수 있게 해주는 브릿지 역할 # 패키지 저장소 추가 (OS별로 다름, 예시는 Ubuntu) # sudo distribution=$(. /etc/os-release;echo $ID$VERSION_ID) # curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit.gpg # curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ #   sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit.gpg] https://#g' | \ #   sudo tee /et...

윈도우 네트워크 리소스 사용권한 오류




윈도우에서 네트워크 공유 오류 처리


이 네트워크 리소스를 사용할 권한이 없는 것 같습니다. 이 서버의 관리자에게 문의하여 액세스 권한이 있는지 확인하십시시오.


이렇게 메세지 뜨고 공유가 안될경우

cmd 콘솔창을 띄워서 기존에 등록되어 있는 연결정보를 다 삭제 하고 다시 접속하면 연결이 된다.

연결된 정보 확인
cmd 창에서 

net use

C:\Windows\System32>net use
새 연결 정보가 저장됩니다.
상태         로컬      원격                      네트워크
-------------------------------------------------------------------------------
OK                     \\192.168.6.20\IPC$       Microsoft Windows Network
명령을 잘 실행했습니다.




확인후 연결 끊기
net use /delete *

실행후 y를 눌러서 계속하면 현재 연결을 끊어 버립니다.

연결을 끊고 다시 네트워크 접속을 하면 정상적으로 접속이 됩니다.

전체가 아니고 해당 연결만 삭제 하는 방법은
net use /delete \\공유폴더명

위와 같이 하여도 해결이 안 될 경우

자경증명 관리자에서 저장된 자격증명 삭제하기

윈도우 키를 누른후 자격 증명 관리자 실행
 



자격증명 관리자 메뉴에 들어가서 Windows 자격증명 메뉴를 클릭하여 오류가 나는 아이피를 선택하여 제거 하고 다시 접속합니다.

댓글

이 블로그의 인기 게시물

아파치 보안관련 기본설정

티베로 이관 작업 절차