도커에서 vllm 사용 설정 가이드

도커에서 vllm 사용 설정 가이드 # 도커에서 gpu를 사용하기 위한 기본설정 호스트 쪽 ✅ NVIDIA 드라이버 ✅ Docker ✅ NVIDIA Container Toolkit (nvidia-container-toolkit) 이미지/컨테이너 쪽 ✅ CUDA / cuDNN 라이브러리 포함된 베이스 이미지 (또는 vLLM/Qwen 공식 이미지) 1. 호스트(서버)에 필요한 것 (1) NVIDIA 드라이버 (반드시 호스트에만 설치) nvidia-smi 잘 나오면 OK  컨테이너 안에는 드라이버 설치하면 안 됨 → 드라이버는 “호스트 전용”, 컨테이너는 라이브러리(CUDA, cuDNN)만 있으면 됨. (2) Docker + NVIDIA Container Toolkit GPU를 Docker에 연결해주는 게 NVIDIA Container Toolkit 이라서 필요. NVIDIA Container Toolkit (nvidia-container-toolkit) 툴킷은 도커 내부에 gpu를 사용할수 있게 해주는 브릿지 역할 # 패키지 저장소 추가 (OS별로 다름, 예시는 Ubuntu) # sudo distribution=$(. /etc/os-release;echo $ID$VERSION_ID) # curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit.gpg # curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ #   sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit.gpg] https://#g' | \ #   sudo tee /et...

오라클 19c 도커 설치

오라클 19c 도커 설치 /* 오라클 19c 도커 설치 */ docker pull doctorkirk/oracle-19c 로컬 디렉토리 생성 mkdir -p /data/cbw/oracle-19c/oradata 권한 부여 sudo chown -R 54321:54321 ./oracle-19c/ /* 도커 컨테이너 실행 */ docker run --name oracle-19c \ -p 1521:1521 \ -e ORACLE_SID=ORCL \ -e ORACLE_PWD=tiger1234 \ -e ORACLE_CHARACTERSET=AL32UTF8 \ -v /data/cbw/oracle-19c/oradata/:/opt/oracle/oradata \ doctorkirk/oracle-19c /* 아래 상태로 계속 멈춰 있는 경우 도커 재기동 */ 31872230,31876368,31886547,31888148,31897786,31905033,31909295,31921267, 31927930,31935717,31952052,32007698,32010707,32050048,32069834,32089820, 32105135,32129659,32172777,32212635,32234161,32296941,32321765 =========================================================== 2025-11-11T03:05:56.605922+00:00 Resize operation completed for file# 3, old size 604160K, new size 614400K docker stop oracle-19c docker start oracle-19c /* 도커 재기동후 도커 접속 */ docker exec -it oracle-19c bash /* db 접속 */ sqlplus / as sysdba /* 데이터베이스 상태 확인 */ SELECT STATUS FROM V$INSTANCE; 상태가 STARTED (인스턴스는 시작되...

Qwen/Qwen3-VL-32B-Instruct 리눅스 셋팅하기

Qwen/Qwen3-VL-32B-Instruct /* gpu 서버 가상환경 생성 */ 1) 가상환경 python3 -m venv /data/cbw/venvs/qwen3 source /data/cbw/venvs/qwen3/bin/activate # 최신 pip로 업데이트 python -m pip install -U pip 2) Hugging Face CLI & 라이브러리 설치 pip install --upgrade pip setuptools wheel && pip cache purge && pip install -U "transformers>=4.45.0" "tokenizers>=0.19.1" "huggingface_hub[cli]" "accelerate" -- pip install -U "huggingface_hub[cli]" transformers accelerate (선택) 로그인 – Private 모델 쓸 때 huggingface-cli login # 3-1) 디렉터리 준비 mkdir -p /data/cbw/huggingface/hf_cache # 3-2) 현재 쉘 세션에 적용 export HF_HOME=/data/cbw/huggingface/hf_cache # 3-3) 영구 반영 (zsh 예시: ~/.zshrc / bash면 ~/.bashrc) echo 'export HF_HOME=/data/cbw/huggingface/hf_cache' >> ~/.bashrc # 새 터미널에서 자동 적용되며, 현 세션엔 아래로 즉시 적용: source ~/.bashrc (빠른 확인) python - << 'PY' import os; print("HF_HOME =", os.environ.get("HF_HOME")) PY 4) (선택) 모델을 미리 ...

wsl2에 도커 설치 및 NVIDIA GPU 사용 하는 Docker 컨테이너 환경 설정

WSL2용 도커 설치 및 도커에서 GPU 사용 설정 # 1. Docker 설치 및 시작 (제시된 명령어를 순서대로 실행) curl https://get.docker.com | sh sudo service docker start # 2. NVIDIA Docker 설정 및 설치 (제시된 명령어를 순서대로 실행) # GPG 키를 다운로드하고 키링에 추가 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg # Generic 안정(stable) DEB 저장소 목록 파일을 다운로드 및 등록 curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \   sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \   sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-docker2 sudo systemctl restart docker

Claude Code 설치 방법

이미지
Claude Code 설치 방법 사전 준비 사항 Node.js ≥ v18 필요  npm 설치되어 있어야 함 sudo apt install -y git (git 설치 필요시) Anthropic 계정 + API 키 또는 로그인 인증 가능해야 함 설치 명령어 npm install -g @anthropic-ai/claude-code 설치 후 버전 확인: claude --version 인증 설정 인증 첫 실행 claude claude 명령어를 터미널에서 입력하면 아래와 같이 화면이 열립니다.   그냥 디폴트 1번     1번 브라우저 인증 2번 api 인증 1번 선택하면 브라우저 창이 뜨고 인증을 하면 가입한 요금제에 따라서 사용량이 정해짐 2번은 api키 발급받아서 api 요금 체계에 따라서 과금 2번은 요금이 많이 나오니까 1번 선택해서 인증후 사용

nvm (Node Version Manager) 패키지 관리자 설치

nvm 설치 (0.40.3 버전) # node 패키지 관리자 curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.3/install.sh | bash or wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.3/install.sh | bash 설치가 끝나면 쉘환경 다시 로드 # bash 사용자 source ~/.bashrc # zsh 사용자 source ~/.zshrc 설치 확인 nvm --version node 설치 nvm install <버전>     # 특정 Node.js 버전 설치 (예: nvm install 18) nvm install --lts       # 최신 LTS(Long Term Support) 버전 설치 nvm install node        # 최신 안정(stable) 버전 설치 /* node.js 설치 버전 체인지 */ nvm use <버전>         # 해당 버전으로 Node.js 환경 전환 nvm use default         # 기본 버전으로 전환 node 버전 관리 nvm list                # 설치된 Node.js 버전 목록 확인 nvm ls                  # 위와 동일 nvm ls-remote           # 설치 가능한 모든 버전 확인 nvm ls-remote --lts     #...

허깅페이스 cli 설치 & vllm 설치 테스트

허깅페이스 cli 설치 * 준비물 - Python 3.10+ & pip - NVIDIA 드라이버 설치 1) 가상 환경 python3 -m venv ~/venvs/llm source ~/venvs/llm/bin/activate # 최신 pip로 업데이트 python -m pip install -U pip # 1. rustup 설치 (공식 툴체인 관리자) curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh source $HOME/.cargo/env 2) Hugging Face CLI & 라이브러리 설치 # (venv가 켜져 있다고 가정) export RUSTFLAGS="-A invalid_reference_casting" pip install -U "huggingface_hub[cli]" transformers accelerate (선택) 로그인 – Private 모델 쓸 때 hf auth login # 토큰 입력 (https://huggingface.co/settings/tokens 에서 발급) 3) 캐시 저장 경로를 대용량 디스크로 변경 한 번만 설정해두면 편한 HF_HOME을 추천합니다. (모델/데이터셋/설정이 전부 이 경로 아래로 이동) # 3-1) 디렉터리 준비 mkdir -p /data/huggingface/hf_cache # 3-2) 현재 쉘 세션에 적용 export HF_HOME=/data/huggingface/hf_cache # 3-3) 영구 반영 (zsh 예시: ~/.zshrc / bash면 ~/.bashrc) echo 'export HF_HOME=/data/huggingface/hf_cache' >> ~/.bashrc # 새 터미널에서 자동 적용되며, 현 세션엔 아래로 즉시 적용: source ~/.bashrc (빠른 확인) python - << 'PY' i...

이 블로그의 인기 게시물

아파치 보안관련 기본설정

티베로 이관 작업 절차

윈도우 네트워크 리소스 사용권한 오류