정보공유

도커에서 vllm 사용 설정 가이드 # 도커에서 gpu를 사용하기 위한 기본설정 호스트 쪽 ✅ NVIDIA 드라이버 ✅ Docker ✅ NVIDIA Container Toolkit (nvidia-container-toolkit) 이미지/컨테이너 쪽 ✅ CUDA / cuDNN 라이브러리 포함된 베이스 이미지 (또는 vLLM/Qwen 공식 이미지) 1. 호스트(서버)에 필요한 것 (1) NVIDIA 드라이버 (반드시 호스트에만 설치) nvidia-smi 잘 나오면 OK  컨테이너 안에는 드라이버 설치하면 안 됨 → 드라이버는 “호스트 전용”, 컨테이너는 라이브러리(CUDA, cuDNN)만 있으면 됨. (2) Docker + NVIDIA Container Toolkit GPU를 Docker에 연결해주는 게 NVIDIA Container Toolkit 이라서 필요. NVIDIA Container Toolkit (nvidia-container-toolkit) 툴킷은 도커 내부에 gpu를 사용할수 있게 해주는 브릿지 역할 # 패키지 저장소 추가 (OS별로 다름, 예시는 Ubuntu) # sudo distribution=$(. /etc/os-release;echo $ID$VERSION_ID) # curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit.gpg # curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ #   sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit.gpg] https://#g' | \ #   sudo tee /et...

오라클 19c 도커 설치 /* 오라클 19c 도커 설치 */ docker pull doctorkirk/oracle-19c 로컬 디렉토리 생성 mkdir -p /data/cbw/oracle-19c/oradata 권한 부여 sudo chown -R 54321:54321 ./oracle-19c/ /* 도커 컨테이너 실행 */ docker run --name oracle-19c \ -p 1521:1521 \ -e ORACLE_SID=ORCL \ -e ORACLE_PWD=tiger1234 \ -e ORACLE_CHARACTERSET=AL32UTF8 \ -v /data/cbw/oracle-19c/oradata/:/opt/oracle/oradata \ doctorkirk/oracle-19c /* 아래 상태로 계속 멈춰 있는 경우 도커 재기동 */ 31872230,31876368,31886547,31888148,31897786,31905033,31909295,31921267, 31927930,31935717,31952052,32007698,32010707,32050048,32069834,32089820, 32105135,32129659,32172777,32212635,32234161,32296941,32321765 =========================================================== 2025-11-11T03:05:56.605922+00:00 Resize operation completed for file# 3, old size 604160K, new size 614400K docker stop oracle-19c docker start oracle-19c /* 도커 재기동후 도커 접속 */ docker exec -it oracle-19c bash /* db 접속 */ sqlplus / as sysdba /* 데이터베이스 상태 확인 */ SELECT STATUS FROM V$INSTANCE; 상태가 STARTED (인스턴스는 시작되...

Qwen/Qwen3-VL-32B-Instruct /* gpu 서버 가상환경 생성 */ 1) 가상환경 python3 -m venv /data/cbw/venvs/qwen3 source /data/cbw/venvs/qwen3/bin/activate # 최신 pip로 업데이트 python -m pip install -U pip 2) Hugging Face CLI & 라이브러리 설치 pip install --upgrade pip setuptools wheel && pip cache purge && pip install -U "transformers>=4.45.0" "tokenizers>=0.19.1" "huggingface_hub[cli]" "accelerate" -- pip install -U "huggingface_hub[cli]" transformers accelerate (선택) 로그인 – Private 모델 쓸 때 huggingface-cli login # 3-1) 디렉터리 준비 mkdir -p /data/cbw/huggingface/hf_cache # 3-2) 현재 쉘 세션에 적용 export HF_HOME=/data/cbw/huggingface/hf_cache # 3-3) 영구 반영 (zsh 예시: ~/.zshrc / bash면 ~/.bashrc) echo 'export HF_HOME=/data/cbw/huggingface/hf_cache' >> ~/.bashrc # 새 터미널에서 자동 적용되며, 현 세션엔 아래로 즉시 적용: source ~/.bashrc (빠른 확인) python - << 'PY' import os; print("HF_HOME =", os.environ.get("HF_HOME")) PY 4) (선택) 모델을 미리 ...