AI 용어 – 최소한의 파라미터로 사전 훈련된 모델 – LoRA(저랭크 적응, Low-Rank Adaptation)

LoRA(저랭크 적응, Low-Rank Adaptation)는 대규모 언어 모델의 파라미터 수를 크게 줄이면서도 모델의 성능을 유지하는 방법입니다. 일반적으로 대규모 모델을 훈련시킬 때, 전체 모델을 다시 훈련시키는데는 막대한 비용과 시간이 소요됩니다. LoRA는 이러한 문제를 해결하기 위한 방법으로 개발되었습니다.

일반적으로, 예를 들어 GPT-3 175B와 같이 거대한 언어 모델을 사용할 때, 모델을 특정 작업이나 도메인에 맞게 재조정하려면 독립된 모델을 새로 훈련해야 합니다. LoRA는 이런 부담을 줄이기 위해 개발되었습니다.

LoRA의 아이디어는 기존의 사전 훈련된 모델 가중치를 동결하고, 각 레이어의 파라미터 수를 크게 줄이면서도 모델의 유용성을 유지하는 것입니다. 이를 위해 각 레이어에 훈련 가능한 랭크 분해 행렬을 주입합니다. 이 방식은 모델의 훈련 가능한 파라미터 수를 크게 줄여주는 동시에 메모리 요구량을 줄여줍니다.

결과적으로 LoRA를 적용하면, 파라미터 수를 크게 줄일 수 있으면서도 모델의 품질이 크게 하락하지 않는다는 것입니다. 이는 효율적으로 훈련 가능한 파라미터 수를 줄여 비용을 절감하면서도 모델의 성능을 유지할 수 있는 방법을 제시합니다.

논문.

“Low-Rank Adaptation of Large Language Models” (LoRA)에 대한 논문 요약입니다. 이 논문은 자연어 처리의 중요한 패러다임 중 하나인 일반 도메인 데이터의 대규모 사전 훈련과 특정 작업 또는 도메인에 대한 적응을 다룹니다.

논문에서는 대규모 모델을 사전 훈련할수록 모든 모델 파라미터를 다시 훈련하는 “full fine-tuning”이 점차 더 어려워진다는 문제점을 지적합니다. 예를 들어 GPT-3 175B를 사용한다면, 각각이 175B의 파라미터를 가진 독립적인 fine-tuned 모델을 배포하는 것이 매우 비용이 많이 든다고 합니다.

LoRA는 이러한 문제를 해결하기 위해 제안되었는데, 사전 훈련된 모델 가중치를 유지하고 Transformer 아키텍처의 각 레이어에 학습 가능한 랭크 분해 행렬을 삽입하여 하위 작업의 학습 가능한 파라미터 수를 크게 줄입니다. LoRA는 Adam으로 fine-tuning 된 GPT-3 175B와 비교하여 학습 가능한 파라미터 수를 10,000배 줄이고 GPU 메모리 요구량을 3배로 줄일 수 있다고 합니다.

LoRA는 RoBERTa, DeBERTa, GPT-2 및 GPT-3의 모델 품질에서 fine-tuning과 유사하거나 더 우수한 성능을 보이며, 학습량이 더 높고 어댑터와 달리 추가적인 추론 지연이 없습니다. 이를 통해 언어 모델 적응에서 랭크 결핍에 대한 실험 결과를 제공하여 LoRA의 효과를 밝히고 있습니다.

이 논문은 PyTorch 모델과 LoRA를 통합하는 데 도움을 주는 패키지를 제공하고 있으며, RoBERTa, DeBERTa 및 GPT-2의 구현과 모델 체크포인트를 이용할 수 있도록 URL을 제공합니다. 이 논문은 Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Machine Learning (cs.LG) 분야의 arXiv:2106.09685에 출판되었습니다.

더 많은 정보를 원한다면, 해당 링크인 https://doi.org/10.48550/arXiv.2106.09685를 참조할 수 있습니다.

 

활성화 함수(Activation Function)

활성화 함수(Activation Function)는 인공 신경망의 각 뉴런에서 입력 신호의 가중합을 출력값으로 변환하는 함수를 말합니다. 이 함수는 인공 신경망의 비선형성을 추가하고, 신경망이 복잡한 함수를 근사하고 다양한 패턴을 학습할 수 있도록 합니다.

활성화 함수는 다음과 같은 역할을 합니다:

1. 비선형성 추가: 활성화 함수는 입력과 가중치의 선형 결합을 비선형 함수로 변환합니다. 이것은 신경망이 복잡한 함수를 모델링하고 다양한 종류의 데이터 패턴을 파악할 수 있게 합니다. 선형 함수만으로는 다층 신경망이 복잡한 문제를 풀 수 없습니다.

2. 신경망의 출력 생성: 활성화 함수는 출력층의 뉴런에서 최종 예측 값을 생성합니다. 예를 들어, 분류 문제의 경우 확률값을 출력하기 위해 시그모이드 활성화 함수가 사용될 수 있고, 회귀 문제의 경우 선형 활성화 함수가 사용될 수 있습니다.

일반적으로 사용되는 활성화 함수에는 다음과 같은 것들이 있습니다:

– 시그모이드(Sigmoid) 함수: 주로 이진 분류 문제의 출력층에 사용됩니다.
– 하이퍼볼릭 탄젠트(Tanh) 함수: 신경망의 은닉층에서 사용되며, 입력값을 -1과 1 사이로 압축합니다.
– 렐루(ReLU, Rectified Linear Unit) 함수: 은닉층에서 많이 사용되며, 입력이 양수일 때 선형적인 활성화를 수행하고 음수일 때 0으로 변환합니다.
– 리키 렐루(Leaky ReLU) 함수: ReLU의 변형으로, 음수 값에 작은 기울기를 부여하여 “죽은 뉴런” 문제를 완화시킵니다.
– GELU(Gaussian Error Linear Unit) 함수: 뉴런의 출력을 훈련하는 데 더 용이하게 만드는 새로운 활성화 함수입니다.

각 활성화 함수는 특정 문제나 아키텍처에 따라 적합한 역할을 수행합니다.

어텐션 모델의 위치 임베딩(Positional Embedding)

어텐션 모델의 위치 임베딩(Positional Embedding)은 문장이나 시퀀스 내에서 단어의 위치 정보를 벡터로 표현하는 기법입니다. 어텐션 메커니즘은 주로 단어 간의 상대적인 위치 정보를 활용하여 중요한 단어에 집중하고 관련 정보를 파악하는 데 사용됩니다. 하지만 어텐션 모델은 단어들을 순서대로 처리하며 위치 정보를 명시적으로 제공하지 않기 때문에 위치 임베딩을 따로 사용하여 이를 보완합니다.

일반적으로 위치 임베딩은 삼각 함수(주로 사인과 코사인 함수)를 활용하여 단어의 위치를 벡터로 인코딩합니다. 이 함수들은 서로 다른 파장과 주기를 가지며, 각 위치에 대한 고유한 패턴을 생성합니다. 이렇게 생성된 위치 임베딩을 단어의 임베딩과 더하여 최종 입력으로 활용합니다. 위치 임베딩은 어텐션 메커니즘이 단어의 상대적 위치를 이해하고 문맥을 파악하는 데 도움을 줄 수 있습니다.

유사도 내적 계산

유사도 내적 계산은 벡터 간의 유사도를 측정하는 한 가지 방법입니다. 벡터는 숫자들의 배열로 이루어진 개념으로, 예를 들면 [1, 2, 3]과 같이 나타낼 수 있습니다. 벡터 간의 유사도는 두 벡터가 얼마나 비슷한지를 나타내는 척도로 사용됩니다.

유사도 내적 계산은 두 벡터의 대응하는 요소들을 각각 곱한 뒤 그 결과들을 모두 더하여 유사도 값을 구합니다. 이러한 연산을 요소별 곱(또는 Hadamard 곱)과 합으로 표현할 수 있습니다.

두 벡터 A와 B의 유사도 내적 계산은 다음과 같습니다:

유사도 내적 값 = Σ(A[i] * B[i]) for i = 0 to N-1

여기서 N은 벡터의 차원을 의미하며, A[i]와 B[i]는 각 벡터의 i번째 요소를 나타냅니다.

유사도 내적 계산은 머신러닝, 자연어 처리 등 다양한 분야에서 중요한 개념으로 활용됩니다. 예를 들어, 어텐션 메커니즘에서는 쿼리와 키 간의 유사도 내적을 사용하여 중요한 정보를 찾고, 벡터 간의 유사도 내적 값을 비교하여 유사성을 평가하는데 활용됩니다.

구글 바드(BARD)와 ChatGPT의 근본적인 차이점 – 구글 바드는 도구를 활용한다.

구글 BARD와 ChatGPT의 근본적인 차이점은 다음과 같습니다:

1. 모델 기반:

ChatGPT는 오픈AI에서 개발한 GPT 시리즈의 언어 모델로, 트랜스포머(Transformer) 논문에서 제안된 아키텍처에 기반을 두고 있습니다. 트랜스포머는 시퀀스 투 시퀀스(Sequence-to-Sequence) 모델을 개선한 구조로, 주로 자연어 처리 작업에서 뛰어난 성능을 보입니다.

반면에 BARD는 구글이 발표한 LaMDA(Language Models for Dialog Applications) 논문에 기반을 두고 있습니다. LaMDA는 대화형 언어 모델에 대한 연구로, ChatGPT와는 다른 모델 아키텍처와 접근 방식을 가지고 있습니다. 따라서 BARD와 ChatGPT는 각각 다른 기반과 특징을 가진 언어 모델입니다.

 

2. 도구를 활용하는 바드: BARD는 효율적인 사실 확인과 숫자 계산을 위해 툴셋(Tool Set, TS)을 사용합니다. LaMDA-Base 모델은 예비 답변을 생성하는 역할을 하고, LaMDA-Research 모델은 인터넷 검색, 번역 및 계산 도구와 협력하여 정확한 답변을 생성합니다.

아래 그림은 람다 논문에 나온 툴셋활용 예시 그림입니다.

“에펠탑은 언제 지어졌니?”라는 유저 질문에 답을 하는 LaMDA 작동 예시입니다.

3. 답변 검증: LaMDA-Research 모델은 이전에 생성된 답변을 검증하고 외부 툴셋이 필요한 경우 해당 도구에 질문과 답변을 제출합니다. 이를 통해 BARD는 더 정확한 답변을 제공할 수 있습니다. ChatGPT는 이와 달리 내부적으로 사실 확인 및 검증을 수행하지 않습니다.

요약하면, BARD는 LaMDA 논문을 기반으로 하며, 툴셋을 활용하여 사실 확인과 숫자 계산의 효율성을 높입니다. 이에 반해 ChatGPT는트랜스포머 모델을 기반으로 하며, 사실 확인과 숫자 계산에 제한이 있을 수 있습니다.

언어모델의 완전 이해 강의 !

트랜스포머 모델로 GPT만들기

 

트랜스포머 모델의 일반적인 과정: 1 전처리, 2아키텍처 구성, 3예측 및 학습, 4후처리, 5 평가 및 추론

트랜스포머 모델의 일반적인 과정은 다음과 같습니다:

1. 데이터 전처리: 입력 데이터를 모델이 처리할 수 있는 형태로 변환합니다. 이 단계에는 텍스트 데이터의 토큰화, 임베딩, 패딩 등이 포함될 수 있습니다. 전처리는 모델에 입력되는 데이터의 형식을 맞추고, 필요한 정보를 추출하거나 변환하는 역할을 합니다.

2. 모델 아키텍처 구성: 트랜스포머 모델의 아키텍처를 구성합니다. 이는 입력 데이터와 출력 데이터의 차원, 임베딩 크기, 레이어의 개수, 어텐션 메커니즘의 유형 등을 정의하는 단계입니다. 트랜스포머 모델은 인코더와 디코더로 구성되며, 각각은 여러 개의 트랜스포머 블록으로 이루어져 있습니다.

3. 예측 및 학습: 전처리된 데이터를 모델에 입력하여 예측과 학습을 수행합니다. 모델은 입력 시퀀스의 다음 단어를 예측하거나 원하는 작업을 수행합니다. 예측과 학습 단계에서는 트랜스포머 모델의 다양한 레이어와 메커니즘이 활용되며, 학습 데이터를 통해 모델의 가중치가 업데이트됩니다.

4. 후처리: 모델의 출력을 원하는 형태로 변환하거나 활용하는 단계입니다. 이는 디코딩, 인덱싱 연산, 다항분포 샘플링 등을 포함할 수 있으며, 모델의 출력을 자연어로 표현하거나 다른 작업에 활용할 수 있도록 합니다.

5. 평가 및 추론: 훈련된 모델을 사용하여 평가나 추론을 수행합니다. 평가는 모델의 성능을 측정하고 개선하는 과정을 의미하며, 추론은 새로운 입력에 대해 모델이 예측을 수행하는 과정을 의미합니다.

트랜스포머 모델의 일반적인 과정은 위와 같이 전처리, 아키텍처 구성, 예측 및 학습, 후처리, 평가 및 추론으로 이루어집니다. 이러한 과정을 반복하면서 모델을 훈련하고 개선하여 원하는 작업에 대해 좋은 성능을 발휘할 수 있도록 합니다.

토큰화(Tokenization)와 임베딩(Embedding)

토큰화(Tokenization)와 임베딩(Embedding)은 자연어 처리(Natural Language Processing) 분야에서 다른 개념을 가리키는 용어입니다.

1. 토큰화(Tokenization):
– 텍스트를 작은 단위로 나누는 과정입니다. 이 작은 단위는 보통 단어, 문장, 문자 등의 단위일 수 있습니다.
– 예를 들어, “Hello, how are you?”라는 문장을 토큰화하면 [“Hello”, “,”, “how”, “are”, “you”, “?”]와 같이 토큰(단어 또는 문자) 단위로 분리됩니다.
– 토큰화를 통해 텍스트를 작은 단위로 분리하여 기계가 처리 가능한 형태로 만들 수 있습니다. 이후에 각 토큰에 대해 숫자나 인덱스로 변환할 수 있습니다.

2. 임베딩(Embedding):
– 단어나 문장 등의 토큰을 숫자로 변환하는 과정입니다. 토큰을 고차원의 벡터 공간에 매핑하는 것을 의미합니다.
– 임베딩은 단어의 의미와 특징을 반영한 밀집 벡터로 표현합니다. 각 차원은 단어의 특정한 의미적 측면을 나타내며, 단어 간의 관계와 유사성을 벡터 공간 상에서 반영합니다.
– 예를 들어, “apple”이라는 단어를 100차원의 임베딩 공간에 매핑하면 [0.5, 0.8, -0.2, …]와 같이 실수값을 갖는 벡터로 표현할 수 있습니다.
– 임베딩을 통해 텍스트의 특징을 수치화하고, 이를 기반으로 기계학습 모델이 텍스트를 처리하고 학습할 수 있습니다.

요약하자면, 토큰화는 텍스트를 작은 단위로 나누는 과정이고, 임베딩은 토큰을 숫자로 변환하여 텍스트의 의미와 특징을 벡터로 표현하는 과정입니다. 토큰화는 전처리 과정의 일부로써 텍스트를 분리하는 역할을 하며, 임베딩은 토큰화된 텍스트를 숫자 형태로 표현하여 기계학습 모델에 입력으로 사용합니다.

일반적으로 텍스트 처리 작업에서는 토큰화(Tokenization)를 먼저 수행한 후에 임베딩(Embedding)을 적용합니다.

1. 토큰화(Tokenization): 텍스트를 작은 단위로 나누는 과정을 의미합니다. 이 단위는 보통 단어, 문장, 문자 등이 될 수 있습니다. 토큰화를 통해 텍스트를 토큰 단위로 분리합니다.

2. 임베딩(Embedding): 토큰화된 텍스트를 숫자로 변환하여 기계가 이해할 수 있는 형태로 만듭니다. 이 과정에서 토큰은 벡터로 매핑되며, 벡터의 차원은 임베딩 공간의 크기를 결정합니다. 임베딩은 주로 사전 훈련된 워드 임베딩 모델을 사용하거나, 모델 내부에서 학습하는 방식으로 수행됩니다.

따라서, 일반적인 순서는 토큰화를 먼저 수행한 후에 임베딩을 적용합니다. 토큰화된 텍스트는 임베딩에 입력되어 벡터로 변환됩니다. 이렇게 변환된 임베딩 벡터는 텍스트의 의미와 특징을 반영하여 모델에 입력될 수 있습니다.

토큰화를 먼저 수행한 후에 임베딩을 적용하는 이유는 다음과 같습니다:

1. 단어 수준의 특성을 보존: 토큰화는 단어 단위로 텍스트를 분리하여 의미 있는 단위로 만듭니다. 이는 단어의 의미와 문맥을 유지하면서 텍스트를 분석할 수 있도록 합니다. 따라서, 토큰화를 먼저 수행하면 단어 수준의 특성을 보존할 수 있습니다.

2. 임베딩의 입력 형태: 대부분의 임베딩 모델은 단어를 입력으로 받아 해당 단어에 대한 임베딩 벡터를 반환합니다. 따라서, 토큰화를 통해 단어로 분리된 텍스트를 임베딩 모델에 입력으로 전달할 수 있습니다.

3. 임베딩의 차원 일관성: 임베딩은 텍스트를 고정된 차원의 벡터로 변환하는 작업입니다. 이 때, 토큰화를 먼저 수행하여 단어 단위로 분리하면, 모든 단어에 동일한 임베딩 차원을 적용할 수 있습니다. 이는 모델의 일관성을 유지하고 효과적인 처리를 가능하게 합니다.

따라서, 토큰화를 먼저 수행한 후에 임베딩을 적용하는 것은 텍스트의 구성 단위를 보존하고, 임베딩 모델에 일관된 입력을 제공하기 위한 일반적인 접근 방식입니다.

트랜스포머 모델의 주요 임베딩 작업

트랜스포머 모델의 주요 임베딩 작업은 다음과 같습니다:

1. 단어 임베딩 (Word Embedding): 텍스트 입력을 단어 수준에서 숫자로 변환하는 작업입니다. 각 단어는 고정된 차원의 실수 벡터로 표현됩니다. 단어 임베딩은 단어 간의 의미와 유사성을 반영하여 단어의 분산 표현을 학습합니다.

2. 위치 임베딩 (Positional Embedding): 트랜스포머 모델은 입력 시퀀스의 단어 위치 정보를 임베딩하여 고려합니다. 위치 임베딩은 단어의 상대적인 위치에 따라 다른 임베딩 값을 가지며, 시퀀스 내 단어들의 순서 정보를 모델에 전달합니다.

3. 세그먼트 임베딩 (Segment Embedding): 트랜스포머 모델에서는 입력 시퀀스를 여러 개의 세그먼트로 분할하여 처리할 수 있습니다. 세그먼트 임베딩은 각 세그먼트를 식별하기 위해 사용되며, 각 세그먼트의 특성을 모델에 전달합니다.

4. 토큰 타입 임베딩 (Token Type Embedding): 입력 시퀀스에 여러 종류의 토큰이 포함되어 있을 때, 토큰의 타입을 구분하기 위해 사용됩니다. 예를 들어, 질문-응답 모델에서 질문과 응답의 토큰을 구분하기 위해 토큰 타입 임베딩을 사용할 수 있습니다.

이러한 임베딩 작업들은 트랜스포머 모델이 입력 데이터를 처리하고 이해하는 데에 중요한 역할을 합니다. 임베딩은 텍스트 데이터를 숫자로 변환하여 모델에 입력 가능한 형태로 만들어주며, 단어, 위치, 세그먼트, 토큰 타입 등 다양한 정보를 효과적으로 인코딩합니다. 이를 통해 모델은 입력 데이터의 구조와 의미를 파악하고 효과적인 특성 추출을 수행할 수 있습니다.

트랜스포머 모델의 주요 정규화 작업

트랜스포머 모델의 주요 정규화 작업은 다음과 같습니다:

1. 배치 정규화 (Batch Normalization): 배치 정규화는 미니배치의 각 층에서의 입력을 정규화하는 기법입니다. 이를 통해 각 층의 입력 분포를 안정화시키고, 그레디언트 소실 또는 폭주를 줄여 모델의 학습을 안정화시킵니다.

2. 층 정규화 (Layer Normalization): 층 정규화는 배치 단위가 아닌 층 단위에서의 입력을 정규화하는 기법입니다. 배치 정규화와 유사한 역할을 수행하지만, 배치 차원이 아닌 피쳐 차원에서 평균과 표준편차를 계산하여 정규화합니다.

3. 셀프 어텐션 정규화 (Self-Attention Normalization): 트랜스포머 모델의 셀프 어텐션 레이어에서 사용되는 정규화 기법입니다. 셀프 어텐션은 입력 시퀀스의 각 토큰 간의 상호작용을 모델링하는데 사용되는데, 이때 정규화를 통해 그레디언트의 안정성을 향상시킵니다.

4. 잔차 연결 (Residual Connection): 잔차 연결은 트랜스포머 모델의 각 레이어에서 입력과 출력 사이에 잔차 연결을 추가하는 기법입니다. 이를 통해 신경망의 깊이가 깊어져도 그레디언트 소실이나 폭주 문제를 완화할 수 있습니다.

이러한 정규화 작업들은 트랜스포머 모델의 학습 안정성과 성능 향상에 중요한 역할을 합니다. 각각의 정규화 기법은 입력 데이터의 분포를 조정하거나 그레디언트를 조절함으로써 모델의 학습을 안정화시키고, 더 나은 표현력을 갖는 특성을 추출할 수 있도록 도와줍니다.

 

*RMS (Root Mean Square) 정규화는 트랜스포머 모델의 주요 정규화 기법 중 하나로서 일반적으로 사용되는 것은 아닙니다. 이유는 다양한 정규화 기법들이 모델의 학습 안정성과 성능 향상을 위해 특정한 목적과 가정에 기반하고 있기 때문입니다.

RMS 정규화는 주어진 값들의 편차를 작게 만들면서도 값들의 의미를 유지하려는 목적으로 사용되는 것으로 이해됩니다. 그러나 이와 관련하여 트랜스포머 모델에서 널리 사용되는 특정한 정규화 기법으로는 앞서 언급한 배치 정규화, 층 정규화, 셀프 어텐션 정규화, 잔차 연결 등이 있습니다. 이러한 기법들은 모델의 학습 안정성, 그레디언트 흐름, 과적합 방지 등을 개선하는 데에 효과적으로 사용됩니다.

트랜스포머 모델에서는 RMS 정규화보다는 주로 위에서 언급한 다른 정규화 기법들이 더 일반적으로 사용됩니다. 그러나 정규화 기법의 선택은 모델의 구조, 데이터의 특성, 학습 목표 등에 따라 달라질 수 있으며, 특정한 문제나 실험 환경에서는 다양한 정규화 기법을 시도해보는 것이 좋습니다.

트랜스포머 모델의 주요 선형 변환

트랜스포머 모델의 주요 선형 변환은 다음과 같습니다:

1. 입력 임베딩 (Input Embedding): 입력 시퀀스의 각 토큰을 벡터 공간으로 임베딩하는 선형 변환입니다. 이 임베딩은 단어나 문자와 같은 텍스트 형태의 입력을 연속적인 벡터로 변환하여 모델에 입력으로 제공합니다.

2. 포지션 임베딩 (Positional Embedding): 입력 시퀀스의 각 위치 정보를 임베딩하는 선형 변환입니다. 포지션 임베딩은 토큰의 상대적인 위치를 모델에 전달하여 시퀀스의 순서 정보를 학습할 수 있도록 도와줍니다.

3. 셀프 어텐션 선형 변환 (Self-Attention Linear Transformation): 트랜스포머 모델에서 가장 중요한 선형 변환 중 하나입니다. 셀프 어텐션은 입력 시퀀스의 각 토큰 간의 상호작용을 모델링하기 위해 사용됩니다. 이때, 입력 임베딩을 통해 얻은 토큰 벡터에 선형 변환을 적용하여 쿼리(Q), 키(K), 값(V) 벡터를 생성합니다.

4. 피드포워드 네트워크 (Feedforward Network): 셀프 어텐션 레이어를 거친 후에 적용되는 두 번째 선형 변환입니다. 피드포워드 네트워크는 각 토큰 벡터에 독립적으로 적용되며, 모델의 비선형성을 증가시키고 특성을 변환하는 역할을 합니다.

5. 출력 선형 변환 (Output Linear Transformation): 트랜스포머 모델의 최종 출력을 생성하기 위해 사용되는 선형 변환입니다. 피드포워드 네트워크를 거친 토큰 벡터에 출력 선형 변환을 적용하여 모델의 최종 예측 결과를 얻습니다.

이러한 선형 변환들은 트랜스포머 모델의 핵심 구성 요소로 작용하며, 입력 시퀀스의 표현과 각 토큰 간의 상호작용을 캡처하는 데 중요한 역할을 합니다.