허깅페이스 gguf 파일 Modelfile 생성
Modelfile 제작방법 1. 최초에 모델파일을 모르기 때문에 처음에는 Hugging Face GGUF나 기본 모델은 먼저 올리마에 실행후 모델파일 추출 ollama run hf.co/{user}/{repo}:Q4_K_M 2. 기본 설정 추출 ollama show <모델명> --modelfile 명령으로 “Base Modelfile”을 뽑습니다. → 여기엔 FROM , PARAMETER , TEMPLATE , SYSTEM 같은 값이 다 포함돼 있어요. 3. 커스텀 Modelfile 제작 - 기본 설정을 텍스트로 추출 ollama show hf.co/{user}/{repo}:Q4_K_M --modelfile > Base.Modelfile ollama show hf.co/{user}/{repo}:Q4_K_M --parameters # 참고용 ollama show hf.co/{user}/{repo}:Q4_K_M --template # 참고용 필요한 부분만 수정해서 내 Modelfile 제작 뽑아온 Base Modelfile을 복사/수정해서 num_ctx (컨텍스트 길이) temperature , top_p , top_k stop 토큰 system 메시지 같은 부분을 원하는 대로 바꾸면 됩니다. # (PARAMETER num_ctx, temperature, stop 토큰 등) vi Modelfile 4) 커스텀 모델 빌드 & 실행 ollama create mymodel -f ./Modelfile ollama run mymodel Modelfile 잘못 설정시 무한반복, 동일문장 재생산 오류 대처법 왜 문제가 생기나? stop 토큰 설정 누락/오류 PARAMETER stop [...] 를 잘못 지정하면 모델이 멈출 지점을 못 찾아 무한 반복합니다. template 문제 TEMPLATE에서 role/use...
