작성자: shop2world

LoRA(저랭크 적응, Low-Rank Adaptation)는 대규모 언어 모델의 파라미터 수를 크게 줄이면서도 모델의 성능을 유지하는 방법입니다. 일반적으로 대규모 모델을 훈련시킬 때, 전체 모델을 다시 훈련시키는데는 막대한 비용과 시간이 소요됩니다. LoRA는 이러한 문제를 해결하기 위한 방법으로 개발되었습니다.

일반적으로, 예를 들어 GPT-3 175B와 같이 거대한 언어 모델을 사용할 때, 모델을 특정 작업이나 도메인에 맞게 재조정하려면 독립된 모델을 새로 훈련해야 합니다. LoRA는 이런 부담을 줄이기 위해 개발되었습니다.

LoRA의 아이디어는 기존의 사전 훈련된 모델 가중치를 동결하고, 각 레이어의 파라미터 수를 크게 줄이면서도 모델의 유용성을 유지하는 것입니다. 이를 위해 각 레이어에 훈련 가능한 랭크 분해 행렬을 주입합니다. 이 방식은 모델의 훈련 가능한 파라미터 수를 크게 줄여주는 동시에 메모리 요구량을 줄여줍니다.

결과적으로 LoRA를 적용하면, 파라미터 수를 크게 줄일 수 있으면서도 모델의 품질이 크게 하락하지 않는다는 것입니다. 이는 효율적으로 훈련 가능한 파라미터 수를 줄여 비용을 절감하면서도 모델의 성능을 유지할 수 있는 방법을 제시합니다.

논문.

“Low-Rank Adaptation of Large Language Models” (LoRA)에 대한 논문 요약입니다. 이 논문은 자연어 처리의 중요한 패러다임 중 하나인 일반 도메인 데이터의 대규모 사전 훈련과 특정 작업 또는 도메인에 대한 적응을 다룹니다.

논문에서는 대규모 모델을 사전 훈련할수록 모든 모델 파라미터를 다시 훈련하는 “full fine-tuning”이 점차 더 어려워진다는 문제점을 지적합니다. 예를 들어 GPT-3 175B를 사용한다면, 각각이 175B의 파라미터를 가진 독립적인 fine-tuned 모델을 배포하는 것이 매우 비용이 많이 든다고 합니다.

LoRA는 이러한 문제를 해결하기 위해 제안되었는데, 사전 훈련된 모델 가중치를 유지하고 Transformer 아키텍처의 각 레이어에 학습 가능한 랭크 분해 행렬을 삽입하여 하위 작업의 학습 가능한 파라미터 수를 크게 줄입니다. LoRA는 Adam으로 fine-tuning 된 GPT-3 175B와 비교하여 학습 가능한 파라미터 수를 10,000배 줄이고 GPU 메모리 요구량을 3배로 줄일 수 있다고 합니다.

LoRA는 RoBERTa, DeBERTa, GPT-2 및 GPT-3의 모델 품질에서 fine-tuning과 유사하거나 더 우수한 성능을 보이며, 학습량이 더 높고 어댑터와 달리 추가적인 추론 지연이 없습니다. 이를 통해 언어 모델 적응에서 랭크 결핍에 대한 실험 결과를 제공하여 LoRA의 효과를 밝히고 있습니다.

이 논문은 PyTorch 모델과 LoRA를 통합하는 데 도움을 주는 패키지를 제공하고 있으며, RoBERTa, DeBERTa 및 GPT-2의 구현과 모델 체크포인트를 이용할 수 있도록 URL을 제공합니다. 이 논문은 Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG) 분야의 arXiv:2106.09685에 출판되었습니다.

더 많은 정보를 원한다면, 해당 링크인 https://doi.org/10.48550/arXiv.2106.09685를 참조할 수 있습니다.

 

활성화 함수(Activation Function)는 인공 신경망의 각 뉴런에서 입력 신호의 가중합을 출력값으로 변환하는 함수를 말합니다. 이 함수는 인공 신경망의 비선형성을 추가하고, 신경망이 복잡한 함수를 근사하고 다양한 패턴을 학습할 수 있도록 합니다.

활성화 함수는 다음과 같은 역할을 합니다:

1. 비선형성 추가: 활성화 함수는 입력과 가중치의 선형 결합을 비선형 함수로 변환합니다. 이것은 신경망이 복잡한 함수를 모델링하고 다양한 종류의 데이터 패턴을 파악할 수 있게 합니다. 선형 함수만으로는 다층 신경망이 복잡한 문제를 풀 수 없습니다.

2. 신경망의 출력 생성: 활성화 함수는 출력층의 뉴런에서 최종 예측 값을 생성합니다. 예를 들어, 분류 문제의 경우 확률값을 출력하기 위해 시그모이드 활성화 함수가 사용될 수 있고, 회귀 문제의 경우 선형 활성화 함수가 사용될 수 있습니다.

일반적으로 사용되는 활성화 함수에는 다음과 같은 것들이 있습니다:

– 시그모이드(Sigmoid) 함수: 주로 이진 분류 문제의 출력층에 사용됩니다.
– 하이퍼볼릭 탄젠트(Tanh) 함수: 신경망의 은닉층에서 사용되며, 입력값을 -1과 1 사이로 압축합니다.
– 렐루(ReLU, Rectified Linear Unit) 함수: 은닉층에서 많이 사용되며, 입력이 양수일 때 선형적인 활성화를 수행하고 음수일 때 0으로 변환합니다.
– 리키 렐루(Leaky ReLU) 함수: ReLU의 변형으로, 음수 값에 작은 기울기를 부여하여 “죽은 뉴런” 문제를 완화시킵니다.
– GELU(Gaussian Error Linear Unit) 함수: 뉴런의 출력을 훈련하는 데 더 용이하게 만드는 새로운 활성화 함수입니다.

각 활성화 함수는 특정 문제나 아키텍처에 따라 적합한 역할을 수행합니다.

class PositionalEmbedding(nn.Module):
    def __init__(self, n_embd, max_len=512):
        super().__init__()
        position = torch.arange(0, max_len).unsqueeze(1).float()
        div_term = torch.exp(torch.arange(0, n_embd, 2).float() * -(math.log(10000.0) / n_embd))
        pe = torch.zeros(max_len, n_embd)
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        self.pe = pe.unsqueeze(0)
        self.register_buffer('pe', pe)

    def forward(self, x):
        return x + self.pe[:, :x.size(1)].detach()

# 언어 모델을 정의하는 함수
class LanguageModel(nn.Module):
    def __init__(self, vocab_size):
        super().__init__()
        self.token_embedding_table = nn.Embedding(vocab_size, n_embd)
        self.position_embedding = PositionalEmbedding(n_embd)
        self.ln_f = nn.LayerNorm(n_embd)
        self.head = nn.Linear(n_embd, vocab_size)

    def forward(self, idx, targets=None):
        tok_emb = self.token_embedding_table(idx)
        pos_emb = self.position_embedding(torch.arange(idx.size(1), device=device))
        x = tok_emb + pos_emb
        logits = self.head(self.ln_f(x))

주어진 코드는 Transformer 기반의 언어 모델을 구현하는 파이썬 클래스 `PositionalEmbedding`과 `LanguageModel`을 포함하고 있습니다. 이 모델은 토큰 임베딩과 위치 임베딩을 조합하여 문장의 토큰들을 처리하고, 최종 출력(logits)을 생성하는 역할을 합니다.

#### `PositionalEmbedding` 클래스:
이 클래스는 위치 임베딩(Positional Embedding)을 생성하고 관리하는 역할을 합니다.

– `__init__(self, n_embd, max_len=512)`: 초기화 메서드에서는 위치 임베딩을 생성하는데 필요한 파라미터들을 받습니다. `n_embd`는 임베딩 벡터의 차원을 나타내며, `max_len`은 시퀀스의 최대 길이를 나타냅니다.

– 위치 임베딩은 사인(Sine)과 코사인(Cosine) 함수를 사용하여 생성됩니다. `position` 변수는 0부터 `max_len-1`까지의 숫자를 포함하는 벡터를 생성합니다.

– `div_term` 변수는 위치 임베딩에서 사용되는 분모 항(divisor term)으로, 특정 패턴을 생성하기 위해 계산됩니다.

– `pe` 변수는 위치 임베딩 행렬을 초기화합니다. 이 행렬의 크기는 `(max_len, n_embd)`이며, 모든 값은 초기에 0으로 설정됩니다. 그런 다음, 홀수 열(`[:, 1::2]`)에는 코사인 함수 값을 할당하고, 짝수 열(`[:, 0::2]`)에는 사인 함수 값을 할당하여 위치 임베딩을 생성합니다.

– `self.pe` 변수는 위치 임베딩을 담고 있는 텐서를 가리킵니다. 이 텐서는 모델 학습 중에 업데이트되지 않습니다.

– `forward(self, x)`: 이 메서드는 입력으로 받은 `x`에 위치 임베딩을 더한 결과를 반환합니다. 위치 임베딩을 더할 때 `.detach()`를 사용하여 위치 임베딩이 모델의 역전파(backpropagation)에 의해 업데이트되지 않도록 합니다. 따라서 위치 임베딩은 고정된 패턴을 나타냅니다.

#### `LanguageModel` 클래스:
이 클래스는 언어 모델을 나타내며, 토큰 임베딩과 위치 임베딩을 조합하여 최종 입력을 생성하고 출력(`logits`)을 반환합니다.

– `__init__(self, vocab_size)`: 초기화 메서드에서는 언어 모델을 초기화합니다. `vocab_size`는 어휘 사전의 크기를 나타냅니다.

– `self.token_embedding_table`은 토큰 임베딩 테이블로, 단어 인덱스를 임베딩 벡터로 매핑하는 역할을 합니다.

– `self.position_embedding`은 앞서 정의한 `PositionalEmbedding` 클래스의 인스턴스로, 위치 임베딩을 생성합니다.

– `self.ln_f`는 Layer Normalization을 수행하는 레이어를 초기화합니다. 이는 모델의 안정성과 학습 성능을 향상시키는데 사용됩니다.

– `self.head`는 선형 레이어(Linear Layer)로, 최종 출력을 생성하는 역할을 합니다. 입력으로부터 예측 값을 만들어냅니다.

– `forward(self, idx, targets=None)`: 이 메서드는 주어진 토큰 인덱스(`idx`)를 입력으로 받아, 토큰 임베딩과 위치 임베딩을 더하여 최종 입력(`x`)을 생성합니다. 그 후, `self.head`를 사용하여 최종 출력(logits)을 생성합니다. 최종 출력은 모델의 예측 값입니다.

코드에서 `PositionalEmbedding` 클래스는 Transformer 모델에서 위치 정보를 주입하기 위한 중요한 부분이며, `LanguageModel` 클래스는 토큰과 위치 임베딩을 결합하여 모델의 입력을 생성하고, Layer Normalization과 선형 레이어를 사용하여 모델의 출력을 생성하는 역할을 합니다.

어텐션 모델의 위치 임베딩(Positional Embedding)은 문장이나 시퀀스 내에서 단어의 위치 정보를 벡터로 표현하는 기법입니다. 어텐션 메커니즘은 주로 단어 간의 상대적인 위치 정보를 활용하여 중요한 단어에 집중하고 관련 정보를 파악하는 데 사용됩니다. 하지만 어텐션 모델은 단어들을 순서대로 처리하며 위치 정보를 명시적으로 제공하지 않기 때문에 위치 임베딩을 따로 사용하여 이를 보완합니다.

일반적으로 위치 임베딩은 삼각 함수(주로 사인과 코사인 함수)를 활용하여 단어의 위치를 벡터로 인코딩합니다. 이 함수들은 서로 다른 파장과 주기를 가지며, 각 위치에 대한 고유한 패턴을 생성합니다. 이렇게 생성된 위치 임베딩을 단어의 임베딩과 더하여 최종 입력으로 활용합니다. 위치 임베딩은 어텐션 메커니즘이 단어의 상대적 위치를 이해하고 문맥을 파악하는 데 도움을 줄 수 있습니다.