1. 실습 개요
본 실습은 코딩 경험이 없는 일반인도 대규모 언어 모델(LLM; Large Language Model)을 직접 제작할 수 있음을 보여주기 위한 교육 실험이다. 기존에는 LLM을 구축하기 위해 고도의 프로그래밍 능력과 수학적 지식이 필수적이었으나, 최근 인공지능 플랫폼과 프레임워크의 발달로 이러한 기술적 장벽이 크게 낮아졌다.
영상 강의에서는 이 같은 변화를 실제로 체험해 볼 수 있도록, 텍스트 데이터의 처리부터 모델 훈련과 생성 결과 확인까지 전 과정을 단계별로 수행한다.
2. 실습 목표
- 인공지능 언어 모델의 기본 작동 원리를 직관적으로 이해한다.
- 데이터 전처리, 토큰화, 시퀀스 생성 등 핵심 단계의 흐름을 직접 체험한다.
- 간단한 신경망을 훈련시켜 자연어 예측이 이루어지는 과정을 확인한다.
- Temperature 설정을 통해 모델의 생성 다양성과 창의성 변화를 관찰한다.
3. 데이터 수집 및 정제
실습에 사용된 텍스트 데이터는 셰익스피어의 『햄릿』이다. 원문 텍스트를 가져온 후, 다음과 같은 과정을 거쳐 정제하였다.
- 불필요한 문장 부호 제거
- 문단 간격 및 줄바꿈 정리
- 알파벳 소문자 변환을 통해 일관된 데이터 형식 확보
이것은 모델이 언어 패턴을 안정적으로 학습하도록 돕는 핵심 전처리 단계이다.
4. 토큰화 및 시퀀스 변환
정제된 텍스트는 단어 또는 문자 단위로 분리되어 ‘토큰화(Tokenization)’ 과정을 거친다. 이후 각 토큰은 고유한 숫자 값으로 매핑되어 모델이 인식할 수 있는 형태의 시퀀스로 변환된다. 예를 들어,
“to be or not to be”는 와 같은 숫자열로 표현될 수 있다.
이 과정을 통해 언어를 수학적으로 다루는 기초가 마련되며, 다음 단어 예측을 위한 입력과 정답 쌍(input-target pair)이 구성된다.
5. 모델 구조 및 학습 과정
모델은 간단한 순환신경망(RNN) 또는 변형된 Transformer 아키텍처를 기반으로 구성된다. 학습 단계에서는 다음 단어를 맞추는 방식으로 예측 정확도를 점차 높여가며, 손실함수(loss function)를 통해 학습 효율을 평가한다.
훈련이 완료된 후, 모델은 입력된 문장의 흐름을 예측해 문장을 이어나가는 능력을 갖추게 된다.
6. 예측 시연: 문장 생성 실험
실습의 핵심 결과는 모델이 특정 문구를 스스로 완성하는 과정이다. 예를 들어, “To be or not to be” 문구의 일부를 입력했을 때, 모델은 학습 내용을 바탕으로 다음 단어나 문장을 예측한다.
이를 통해 언어 모델이 문맥적 확률에 기반해 텍스트를 생성하는 원리를 직관적으로 확인할 수 있다.
7. Temperature 조절 실험
Temperature(온도) 파라미터는 모델의 창의성을 조절하는 핵심 변수이다.
- 낮은 온도(예: 0.2): 결과가 일정하고 보수적인 텍스트 생성
- 높은 온도(예: 0.8 이상): 결과가 다양하고 예측 불가능한 문장 생성
강연자는 이를 통해 학습된 모델이 단순한 확률 계산 구조를 넘어 창의적 텍스트를 만들어내는 과정의 기반을 설명한다.
8. 결과 분석 및 학습 소감
이번 실습을 통해 확인된 가장 큰 성과는 인공지능 모델 제작 과정의 접근성이 크게 높아졌다는 점이다. 과거 전문 연구자들만 접근할 수 있던 LLM 제작 과정이 이제는 교육 목적이나 개인 학습 수준에서도 이루어질 수 있음을 보여준다.
특히, 데이터를 정제하고 모델을 훈련시키는 일련의 과정이 자동화·단순화되면서 AI의 원리를 체험적으로 이해할 수 있는 교육적 효과가 높아졌다.
9. 참고 자료
- 강의 영상: https://www.youtube.com/watch?v=KX0v4ClbB_I
- 실습 코드 및 자료: https://github.com/shop2world/llm