GitHub 이슈 요약: Llama3 GGUF 모델 변환 시 훈련 데이터 손실 문제
문제: Llama.cpp에서 텍스트 토큰화 과정에 문제가 발생하여 훈련 데이터 손실과 잘못된 토큰 생성으로 이어질 수 있습니다. 특히 Llama 3 GGUF 모델을 변환하는 경우 이 문제가 자주 발생합니다.
영향:
- 모델이 훈련된 방식대로 응답하지 못합니다.
- 잘못된 출력을 생성할 수 있습니다.
가능한 원인:
- BPE 토큰화 버그: llama.cpp 소스 코드의 BPE 토큰화 관련 버그가 문제를 일으킬 수 있습니다.
- 정밀도 차이: 훈련 시 사용된 정밀도와 변환 시 사용된 정밀도가 다르면 정보 손실로 이어질 수 있습니다.
- 토큰화 불일치: 모델 훈련 시 사용된 토큰화 방식과 llama.cpp에서 사용된 토큰화 방식이 다르면 잘못된 토큰 생성으로 이어질 수 있습니다.
해결 방법:
- BPE 토큰화 수정: llama.cpp 소스 코드의
LLAMA_VOCAB_PRE_TYPE_LLAMA3정의 부분에서 이전 정규 표현식을 새로운 정규 표현식으로 변경합니다. - HF 모델 변환: Unsloth를 사용하지 않고 변환 스크립트를 사용하여 Hugging Face 모델을 변환합니다.
추가 정보:
- 이 문제는 플랫폼에 따라 다르게 나타날 수 있습니다.
- 토큰화 문제 외에도 llama.cpp가 모델의 시작 토큰 (
<|begin_of_text|>)을 추가하는 문제가 있습니다. - 실제 변경 작업을 시도하기 전에 llama.cpp 개발팀 가이드를 참조하는 것이 좋습니다.
참고자료:
- llama.cpp 개발팀 가이드: https://github.com/ggerganov/llama.cpp
진행 상황:
- llama.cpp 개발 팀은 BPE 토큰화 관련 버그를 수정하기 위해 노력하고 있습니다.
- 더 많은 사용자가 문제를 테스트하고 조사함으로써 정확한 원인을 규명하고 더 나은 해결 방법을 찾을 수 있을 것으로 기대됩니다.