Llama3 GGUF 모델 변환 시 훈련 데이터 손실 문제

문제: Llama.cpp에서 텍스트 토큰화 과정에 문제가 발생하여 훈련 데이터 손실과 잘못된 토큰 생성으로 이어질 수 있습니다. 특히 Llama 3 GGUF 모델을 변환하는 경우 이 문제가 자주 발생합니다.

영향:

• 모델이 훈련된 방식대로 응답하지 못합니다.
• 잘못된 출력을 생성할 수 있습니다.

가능한 원인:

• BPE 토큰화 버그: llama.cpp 소스 코드의 BPE 토큰화 관련 버그가 문제를 일으킬 수 있습니다.
• 정밀도 차이: 훈련 시 사용된 정밀도와 변환 시 사용된 정밀도가 다르면 정보 손실로 이어질 수 있습니다.
• 토큰화 불일치: 모델 훈련 시 사용된 토큰화 방식과 llama.cpp에서 사용된 토큰화 방식이 다르면 잘못된 토큰 생성으로 이어질 수 있습니다.

해결 방법:

1. BPE 토큰화 수정: llama.cpp 소스 코드의 LLAMA_VOCAB_PRE_TYPE_LLAMA3 정의 부분에서 이전 정규 표현식을 새로운 정규 표현식으로 변경합니다.
2. HF 모델 변환: Unsloth를 사용하지 않고 변환 스크립트를 사용하여 Hugging Face 모델을 변환합니다.

추가 정보:

• 이 문제는 플랫폼에 따라 다르게 나타날 수 있습니다.
• 토큰화 문제 외에도 llama.cpp가 모델의 시작 토큰 (<|begin_of_text|>)을 추가하는 문제가 있습니다.
• 실제 변경 작업을 시도하기 전에 llama.cpp 개발팀 가이드를 참조하는 것이 좋습니다.

참고자료:

• llama.cpp 개발팀 가이드: https://github.com/ggerganov/llama.cpp

진행 상황:

• llama.cpp 개발 팀은 BPE 토큰화 관련 버그를 수정하기 위해 노력하고 있습니다.
• 더 많은 사용자가 문제를 테스트하고 조사함으로써 정확한 원인을 규명하고 더 나은 해결 방법을 찾을 수 있을 것으로 기대됩니다.