트랜스포머 모델의 주요 선형 변환은 다음과 같습니다:
1. 입력 임베딩 (Input Embedding): 입력 시퀀스의 각 토큰을 벡터 공간으로 임베딩하는 선형 변환입니다. 이 임베딩은 단어나 문자와 같은 텍스트 형태의 입력을 연속적인 벡터로 변환하여 모델에 입력으로 제공합니다.
2. 포지션 임베딩 (Positional Embedding): 입력 시퀀스의 각 위치 정보를 임베딩하는 선형 변환입니다. 포지션 임베딩은 토큰의 상대적인 위치를 모델에 전달하여 시퀀스의 순서 정보를 학습할 수 있도록 도와줍니다.
3. 셀프 어텐션 선형 변환 (Self-Attention Linear Transformation): 트랜스포머 모델에서 가장 중요한 선형 변환 중 하나입니다. 셀프 어텐션은 입력 시퀀스의 각 토큰 간의 상호작용을 모델링하기 위해 사용됩니다. 이때, 입력 임베딩을 통해 얻은 토큰 벡터에 선형 변환을 적용하여 쿼리(Q), 키(K), 값(V) 벡터를 생성합니다.
4. 피드포워드 네트워크 (Feedforward Network): 셀프 어텐션 레이어를 거친 후에 적용되는 두 번째 선형 변환입니다. 피드포워드 네트워크는 각 토큰 벡터에 독립적으로 적용되며, 모델의 비선형성을 증가시키고 특성을 변환하는 역할을 합니다.
5. 출력 선형 변환 (Output Linear Transformation): 트랜스포머 모델의 최종 출력을 생성하기 위해 사용되는 선형 변환입니다. 피드포워드 네트워크를 거친 토큰 벡터에 출력 선형 변환을 적용하여 모델의 최종 예측 결과를 얻습니다.
이러한 선형 변환들은 트랜스포머 모델의 핵심 구성 요소로 작용하며, 입력 시퀀스의 표현과 각 토큰 간의 상호작용을 캡처하는 데 중요한 역할을 합니다.