허깅페이스 cli 설치 & vllm 설치 테스트
허깅페이스 cli 설치 * 준비물 - Python 3.10+ & pip - NVIDIA 드라이버 설치 1) 가상 환경 python3 -m venv ~/venvs/llm source ~/venvs/llm/bin/activate # 최신 pip로 업데이트 python -m pip install -U pip 2) Hugging Face CLI & 라이브러리 설치 pip install -U "huggingface_hub[cli]" transformers accelerate (선택) 로그인 – Private 모델 쓸 때 huggingface-cli login # 토큰 입력 (https://huggingface.co/settings/tokens 에서 발급) 3) 캐시 저장 경로를 대용량 디스크로 변경 한 번만 설정해두면 편한 HF_HOME을 추천합니다. (모델/데이터셋/설정이 전부 이 경로 아래로 이동) # 3-1) 디렉터리 준비 mkdir -p /data/huggingface/hf_cache # 3-2) 현재 쉘 세션에 적용 export HF_HOME=/data/huggingface/hf_cache # 3-3) 영구 반영 (zsh 예시: ~/.zshrc / bash면 ~/.bashrc) echo 'export HF_HOME=/data/huggingface/hf_cache' >> ~/.bashrc # 새 터미널에서 자동 적용되며, 현 세션엔 아래로 즉시 적용: source ~/.bashrc (빠른 확인) python - << 'PY' import os; print("HF_HOME =", os.environ.get("HF_HOME")) PY 4) (선택) 모델을 미리 내려받아 캐시 확인 용량 작은 모델로 빠르게 손에 익히기: # 아주 가벼운 채팅용: TinyLlama (≈1.1B) huggingface-cli download TinyLla...