허깅페이스 gguf 파일 Modelfile 생성

-



Modelfile 제작방법


1. 최초에 모델파일을 모르기 때문에 처음에는 Hugging Face GGUF나 기본 모델은 먼저 올리마에
실행후 모델파일 추출

ollama run hf.co/{user}/{repo}:Q4_K_M

2. 기본 설정 추출
ollama show <모델명> --modelfile

명령으로 “Base Modelfile”을 뽑습니다.
→ 여기엔 FROM, PARAMETER, TEMPLATE, SYSTEM 같은 값이 다 포함돼 있어요.

3. 커스텀  Modelfile 제작
-  기본 설정을 텍스트로 추출
ollama show hf.co/{user}/{repo}:Q4_K_M --modelfile > Base.Modelfile
ollama show hf.co/{user}/{repo}:Q4_K_M --parameters   # 참고용
ollama show hf.co/{user}/{repo}:Q4_K_M --template     # 참고용

필요한 부분만 수정해서 내 Modelfile 제작

뽑아온 Base Modelfile을 복사/수정해서

  • num_ctx (컨텍스트 길이)

  • temperature, top_p, top_k

  • stop 토큰

  • system 메시지

같은 부분을 원하는 대로 바꾸면 됩니다.

# (PARAMETER num_ctx, temperature, stop 토큰 등)

vi Modelfile

4) 커스텀 모델 빌드 & 실행
ollama create mymodel -f ./Modelfile
ollama run mymodel


Modelfile 잘못 설정시 무한반복, 동일문장 재생산 오류 대처법


왜 문제가 생기나?
stop 토큰 설정 누락/오류
PARAMETER stop [...] 를 잘못 지정하면 모델이 멈출 지점을 못 찾아 무한 반복합니다.

template 문제
TEMPLATE에서 role/user/assistant 구분이 잘못되면 모델이 자기 답변을 다시 프롬프트로 인식합니다.
system 메시지 중복/잘못된 문법
Go 템플릿 문법 오류나 잘못된 system 지시문이 있으면 대화 흐름이 꼬입니다.
파라미터 값 과도/부적절
예: repeat_penalty가 1.0 이하 → 반복 심화
temperature나 top_p가 극단적 값 → 엉뚱한 반복/난수 같은 출력

안전하게 만드는 방법
1. 항상 기본 Modelfile 먼저 추출
ollama show <모델명> --modelfile > Base.Modelfile

→ 여기서 stop 토큰, template, system을 확인하세요.

2. 작게 수정 → 테스트 → 반복
한 번에 많은 걸 바꾸지 말고, temperature → num_ctx → stop 이런 식으로 순차적으로 수정/테스트하세요.

3. 반복 방지 기본 세팅 예시

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER repeat_last_n 64
PARAMETER stop "<|end_of_text|>"
PARAMETER stop "<|eot_id|>"

repeat_penalty는 1.05~1.2 정도가 무난합니다.
repeat_last_n은 32~128 정도로 두면 반복 줄이는 데 도움 됩니다.

팁
문제 생기면 Base.Modelfile로 롤백 → 커스텀 파일 다시 시도
HF 모델마다 stop 토큰이 다를 수 있으므로 반드시 원본에 있던 걸 참고해야 합니다.
테스트할 때는 ollama run mymodel -p "안녕" 같이 짧게 입력해서 확인하세요.

댓글

댓글 쓰기

이 블로그의 인기 게시물

아파치 보안관련 기본설정

-
 🔧 기본 설정 항목들 1. ServerTokens & ServerSignature 설명 : Apache가 클라이언트에게 서버 정보를 얼마나 제공할지 결정함. 보안 권장 설정 : ServerTokens Prod ServerSignature Off Prod : 버전 정보 없이 "Apache"만 반환. Off : 에러 페이지나 디렉토리 목록에 서버 정보 숨김. 2. Timeout 설명 : 클라이언트와의 연결에 대해 Apache가 기다리는 시간. 권장 설정 (성능 및 DoS 방지): Timeout 30 기본값 60초 → 30초로 줄이면 유휴 연결을 빠르게 정리 가능. 3. KeepAlive & MaxKeepAliveRequests 설명 : 하나의 TCP 연결로 여러 요청을 처리할 수 있게 함. 권장 설정 : KeepAlive On MaxKeepAliveRequests 100 KeepAliveTimeout 5 KeepAliveTimeout 은 너무 길면 자원 낭비. 일반적으로 2~5초 권장. 4. 디렉토리 보호 설정 <Directory /var/www/html>     Options -Indexes     AllowOverride None     Require all granted </Directory> -Indexes : 디렉토리 인덱싱 비활성화. -  AllowOverride None : .htaccess 비활성화하여 보안 강화. Apache에서 HttpOnly 쿠키 설정하기 ✅ 방법 1: Apache에서 Set-Cookie 에 HttpOnly 추가하기 <IfModule mod_headers.c> Header edit Set-Cookie ^(.*)$ "$1;HttpOnly;Secure" </IfModule> 🔎 설명: mod_headers 모듈을 사용하여 모든 Set...
자세한 내용 보기

티베로 이관 작업 절차

-
티베로 이관 작업 절차 /* 기존 DB 환경 파악 신규 DB설치시 NLS_CHARACTERSET, DB_BLOCK_SIZE 기존과 동일해야 데이터 import 시 오류없이 import 된다. */ /*1.  터미널에서 기존 db 접속후 환경 파악 */ /* 티베로 db 접속 */ /* tbsql 사용자/패스워드@sid */ tbsql sys/tibero@SID /* DB_BLOCK_SIZE 확인 */ SHOW PARAMETER DB_BLOCK_SIZE SQL> SHOW PARAMETER DB_BLOCK_SIZE NAME                         TYPE     VALUE ---------------------------- -------- ---------------------------------------- DB_BLOCK_SIZE                INT32    8192 /* CHARACTER_SET 확인 */ SQL>  SELECT * FROM SYS._VT_NLS_CHARACTER_SET; CHARACTERSET_NAME NCHAR_CHARACTERSET_NAME ----------------- ----------------------- MSWIN949          UTF16 /*2. 테이블 스페이스 생성 스크립트 실제테이블 스크립트 용량 계산 추출 */ set linesize 1000 set pagesize 50000 set trimspool on spool create_tablespace.sql SELECT 'create tablespace ' || TABLESPACE_NAME || ' datafile ''' || ...
자세한 내용 보기

윈도우 네트워크 리소스 사용권한 오류

-
이미지
윈도우에서 네트워크 공유 오류 처리 이 네트워크 리소스를 사용할 권한이 없는 것 같습니다. 이 서버의 관리자에게 문의하여 액세스 권한이 있는지 확인하십시시오. 이렇게 메세지 뜨고 공유가 안될경우 cmd 콘솔창을 띄워서 기존에 등록되어 있는 연결정보를 다 삭제 하고 다시 접속하면 연결이 된다. 연결된 정보 확인 cmd 창에서  net use C:\Windows\System32>net use 새 연결 정보가 저장됩니다. 상태         로컬      원격                      네트워크 ------------------------------------------------------------------------------- OK                     \\192.168.6.20\IPC$       Microsoft Windows Network 명령을 잘 실행했습니다. 확인후 연결 끊기 net use /delete * 실행후 y를 눌러서 계속하면 현재 연결을 끊어 버립니다. 연결을 끊고 다시 네트워크 접속을 하면 정상적으로 접속이 됩니다. 전체가 아니고 해당 연결만 삭제 하는 방법은 net use /delete \\공유폴더명 위와 같이 하여도 해결이 안 될 경우 자경증명 관리자에서 저장된 자격증명 삭제하기 윈도우 키를 누른후 자격 증명 관리자 실행   자격증명 관리자 메뉴에 들어가서 Windows 자격증명 메뉴를 클릭하여 오류가 나는 아이피를 선택하여 제거 하고 다시 접속합니다.
자세한 내용 보기