인공지능을 구동하는 컴퓨팅 자원을 저렴하게 이용하려면? Vast.ai 사용법

인공지능을 구동하는 컴퓨팅 자원을 저렴하게 이용하려면 Vast.ai와 같은 클라우드 GPU 임대 서비스를 활용할 수 있습니다. Vast.ai는 시장에서 저렴한 가격에 GPU 리소스를 제공하며, 사용자는 간편한 인터페이스를 통해 이를 이용할 수 있습니다. Vast.ai를 통해 GPU 컴퓨팅 비용을 5-6배 절약할 수 있어서 AI 개발 및 학습에 필요한 컴퓨팅 자원을 경제적으로 활용할 수 있습니다.

Vast.ai를 사용하는 방법은 다음과 같습니다:

1. Vast.ai 웹사이트(https://vast.ai/)에 접속합니다.

2. 회원 가입을 위해 필요한 정보를 입력하고 계정을 생성합니다.

3. 로그인한 후, 대시보드에서 GPU 임대에 대한 옵션과 가격을 확인할 수 있습니다. 다양한 GPU 유형과 가격이 제공되므로 필요에 맞게 선택할 수 있습니다.

4. GPU 임대를 위해 자신의 작업을 설명하고 필요한 사양과 기간을 설정합니다. 이때, 사용할 컴퓨팅 자원의 스펙과 임대 기간에 따라 가격이 달라질 수 있습니다.

5. 적절한 GPU 임대 옵션을 선택한 후, 결제를 진행합니다. Vast.ai는 다양한 결제 방법을 제공하므로 편리하게 선택할 수 있습니다.

6. 결제 완료 후, Vast.ai는 사용자에게 할당된 GPU 컴퓨팅 자원에 대한 접근 정보를 제공합니다. 이를 통해 사용자는 자신의 프로젝트나 작업에 필요한 GPU를 사용할 수 있게 됩니다.

7. 작업이 완료되면 GPU 임대를 종료하고 Vast.ai에서 제공하는 인터페이스를 통해 사용한 리소스에 대한 비용을 정산합니다.

이렇게 Vast.ai를 사용하여 필요한 GPU 컴퓨팅 자원을 저렴하게 이용할 수 있습니다.

SSH를 통한 원격 접속으로 코드 실행 예)원격접속으로 vast에 접속해서 스탠포드 알파카를 실행시켜 데이터를 훈련시키는 방법 

Vast.ai에서 원격 접속하여 특정 스크립트를 실행하는 방법은 다음과 같습니다:

1. Vast.ai 계정 및 가상 머신 설정:
– Vast.ai 웹사이트에 가입하고 로그인합니다.
– 가상 머신 인스턴스를 선택하고 설정합니다. 필요한 CPU, GPU, 메모리 등의 자원을 선택하고 인스턴스를 시작합니다.

2. 원격 접속:
– SSH 클라이언트 프로그램을 사용하여 가상 머신에 원격 접속합니다. 예를 들어, macOS 및 Linux에서는 터미널을 열고 SSH 명령어를 사용하고, Windows에서는 PuTTY와 같은 SSH 클라이언트를 설치하여 사용합니다.
– SSH 접속 명령어 형식은 다음과 같습니다:

ssh username@vast_ai_instance_ip

– `username`은 Vast.ai 인스턴스에 로그인하는 데 사용하는 사용자 이름입니다. `vast_ai_instance_ip`는 Vast.ai 인스턴스의 IP 주소입니다.

관련 유튜브 보기

 

3. 필수 소프트웨어 설치:
– Python, Git 및 필요한 의존성 패키지를 설치합니다.
– 예를 들어, Python 및 Git 설치 명령어(apt-get 기반)는 다음과 같습니다:

sudo apt-get update
sudo apt-get install python3 python3-pip git

– 프로젝트에 필요한 추가 패키지를 설치하는 경우, `pip install` 명령어를 사용하여 패키지를 설치합니다.

4. 프로젝트 클론:
– Git을 사용하여 Stanford Alpaca 프로젝트를 클론합니다.
– Git 명령어 예시:

git clone https://github.com/shop2world/stanford_alpaca.git

5. 데이터 준비:
– 훈련에 필요한 데이터를 준비합니다. Stanford Alpaca 프로젝트의 README 또는 관련 문서를 참조하여 데이터 다운로드 및 전처리 과정을 수행합니다.

6. 훈련 실행:
– Stanford Alpaca 프로젝트의 훈련 스크립트를 실행합니다. 스크립트에는 훈련 구성, 모델 설정, 데이터 경로 등이 정의되어 있습니다.
– 스크립트 실행 명령어 예시:

python train.py --data_dir /path/to/data

– `–data_dir` 옵션에는 데이터가 저장된 디렉토리 경로를 지정합니다. 필요한 다른 옵션도 스크립트에 따라 지정할 수 있습니다.

위 단계를 따르면 Vast.ai 가상 머신에 원격으로 접속하여 Stanford Alpaca 프로젝트를 실행하고 데이터를 훈련시킬 수 있습니다. Stanford Alpaca 프로젝트의 코드 설명을 참고 하시기 바랍니다.

스탠포드 알파카(Alpaca) 코드분석 – 누구나 챗GPT 3.5성능의 모델을 만들 수 있다. 1 generate_instruction.py

스탠포드 알파카(Alpaca) 코드분석 – 누구나 챗GPT 3.5성능의 모델을 만들 수 있다. 파인 튜닝. 2 train.py

 

 

Instruction-following 모델이란?

Instruction-following 모델은 Instruction-following 작업을 수행하기 위해 훈련된 인공지능 모델을 의미합니다. 이 모델은 주어진 지시사항을 이해하고, 해당 지시사항에 따라 정확하게 행동을 수행할 수 있는 능력을 갖추고 있습니다.

Instruction-following 모델은 일반적으로 자연어 처리 및 기계학습 기술을 활용하여 구축됩니다. 훈련 데이터로부터 모델은 지시사항과 해당 지시사항에 대한 행동 간의 관계를 학습하고, 이를 토대로 새로운 입력에 대한 지시사항을 이해하고 적절한 행동을 예측합니다. 모델은 텍스트 처리 및 의미 추론, 시퀀스 예측 등의 기술을 사용하여 Instruction-following 작업을 수행합니다.

Instruction-following 모델은 다양한 응용 분야에서 사용될 수 있습니다. 가정용 로봇, 가상 비서, 자율 주행 차량 등과 같은 인터페이스를 통해 지시사항을 받아들이고 수행하는 시스템에 적용될 수 있습니다. 또한, 제조 공정에서 기계 동작을 자동으로 제어하거나 작업자에게 작업 지침을 제공하는 데에도 활용될 수 있습니다.

Instruction-following 모델은 지시사항 이해, 추론, 문맥 파악, 행동 예측 등과 같은 다양한 인공지능 기술을 통합하여 구현될 수 있습니다. 최근에는 대규모 사전 훈련된 언어 모델과 파인튜닝 방식을 사용하여 Instruction-following 작업에 특화된 모델을 개발하는 연구가 진행되고 있습니다.

Instruction-following 모델은 인간과 기계 사이의 상호작용을 개선하고, 사람의 의도를 정확하게 이해하여 효율적으로 행동할 수 있는 인공지능 시스템을 구현하는 데에 중요한 역할을 합니다.

파인 튜닝(Fine-tuning)

“Fine”이라는 단어는 “미세한” 또는 “세밀한”이라는 의미를 가지고 있습니다. “Tuning”은 조정 또는 조절을 의미합니다. 따라서 “Fine-tuning”은 “미세하게 조정” 또는 “세밀하게 조절”하는 것을 의미합니다.

사전 훈련된 모델을 Fine-tuning하는 과정에서는 초기에 학습된 모델의 가중치를 작업에 맞게 조정하거나 조절합니다. 이 과정은 초기 모델의 일반적인 특징을 유지하면서 작업에 필요한 세부사항을 조정하여 최적화하는 것을 의미합니다. 따라서 “Fine-tuning”은 초기 모델의 가중치를 미세하게 조정하여 작업에 최적화하는 것을 의미합니다.

즉, “Fine-tuning”은 단어적 의미로서 초기 모델의 가중치를 세밀하게 조정하는 과정을 의미합니다.

파인 튜닝은 일반적으로 다음과 같은 단계로 이루어집니다:

1. 사전 훈련된 모델 가져오기: 사전 훈련된 모델(예: BERT, GPT)을 가져옵니다. 이 모델은 일반적인 언어 이해 능력을 갖추고 있습니다.

2. 추가적인 레이어 추가: 특정 작업을 수행하기 위해 모델의 상위에 추가적인 레이어를 추가합니다. 이 레이어는 특정 작업에 필요한 특징을 학습하고 예측을 수행합니다.

3. 작업에 맞는 데이터셋으로 훈련: 파인 튜닝을 위해 작업에 맞는 데이터셋을 사용하여 모델을 추가로 훈련합니다. 작업에 따라 지도 학습이나 강화 학습 등의 방법을 사용할 수 있습니다.

4. 모델 업데이트 및 성능 평가: 파인 튜닝된 모델을 업데이트하고 작업의 성능을 평가합니다. 필요에 따라 추가 훈련이나 하이퍼파라미터 조정 등을 반복할 수 있습니다.

파인 튜닝은 사전 훈련된 모델의 지식을 이용하여 작업에 맞는 모델을 구축하는 데에 유용하게 활용됩니다. 사전 훈련된 모델은 대용량 데이터와 많은 컴퓨팅 자원을 필요로 하지만, 파인 튜닝은 비교적 작은 규모의 작업 데이터와 적은 컴퓨팅 자원으로도 좋은 성능을 얻을 수 있도록 도와줍니다. 이를 통해 다양한 작업에 적용 가능한 유연하고 효율적인 인공지능 모델을 개발할 수 있습니다.

데이터셋

머신러닝에서 데이터셋은 자료구조의 하나로서, 학습 또는 테스트를 위한 데이터를 쉽게 다룰 수 있도록 구성된 형식적인 데이터 집합입니다. 데이터셋은 일반적으로 다음과 같은 요소로 구성됩니다.

  • 데이터 포인트 (Data point): 하나의 샘플을 의미하며, 학습에 사용될 입력과 출력을 포함합니다.
  • 특성 (Feature): 데이터 포인트의 속성을 나타내며, 벡터나 행렬 등의 형태로 표현됩니다.
  • 레이블 (Label): 데이터 포인트의 정답을 의미하며, 회귀 문제의 경우 실수값, 분류 문제의 경우 정수값 또는 원-핫 인코딩된 벡터 등으로 표현됩니다.

데이터셋은 크게 두 가지 종류로 나눌 수 있습니다.

  1. 훈련 데이터셋 (Training dataset): 학습을 위한 데이터셋으로, 모델의 가중치를 업데이트하기 위해 사용됩니다. 일반적으로 전체 데이터셋의 일부를 사용합니다.
  2. 검증 데이터셋 (Validation dataset): 학습 과정에서 모델의 성능을 평가하기 위해 사용됩니다. 일반적으로 전체 데이터셋에서 훈련 데이터셋을 제외한 일부를 사용합니다.

이 외에도 테스트 데이터셋과 실시간 데이터셋 등 다양한 종류의 데이터셋이 있습니다. 이러한 데이터셋을 효율적으로 다루기 위해 머신러닝 라이브러리에서는 데이터셋을 다루기 위한 다양한 자료구조와 함수들을 제공합니다. 예를 들어, TensorFlow에서는 tf.data.Dataset 클래스를 사용하여 데이터셋을 다룰 수 있습니다.

머신러닝의 자료 구조

자료구조는 데이터를 효율적으로 저장하고, 검색하고, 수정하고, 삭제할 수 있도록 구성된 데이터 요소들의 집합과 그들 사이의 관계, 그리고 그에 적용 가능한 함수나 명령어들을 의미합니다. 즉, 프로그래밍에서 사용되는 데이터 요소들의 타입, 크기, 구성 등을 조직적으로 나열한 것입니다. 이를 통해 데이터를 관리하고 연산을 수행하는 데 있어서 시간과 공간의 효율성을 높일 수 있습니다. 머신러닝에서도 다양한 자료구조를 사용하여 데이터를 다루고, 분석하며, 모델을 학습하고 예측합니다.

자료구조는 우리 일상생활에서도 많이 사용되는 개념입니다. 예를 들어, 우리가 냉장고에 음식을 넣을 때, 그 음식들을 보관하기 위해 냉장고 안의 선반에 적절하게 정리하는 것이 자료구조를 적용하는 것과 유사합니다. 음식들은 각각의 종류, 유통기한, 크기 등에 따라 구분하여 정리하게 되며, 이를 통해 냉장고 안에서 음식을 찾고 꺼내는 것이 훨씬 더 효율적이고 쉬워지게 됩니다.

또 다른 예로, 우리가 책을 읽을 때, 책에 있는 내용을 이해하기 쉽게 만들기 위해 각각의 단락과 문장을 적절하게 구성하게 됩니다. 이러한 구성 방식은 자료구조에서 말하는 ‘리스트’나 ‘트리’와 유사합니다. 각각의 단락과 문장은 서로 연결되어 있으며, 이를 통해 책의 내용을 효과적으로 전달하고 읽는 사람들이 이해하기 쉽도록 하는 것입니다.
또 자료구조에 적용 가능한 함수나 명령어는 데이터를 처리하거나 조작하는 기능을 제공합니다. 예를 들어, 일상생활에서 사용하는 전화번호부를 생각해보면, 전화번호부는 이름과 전화번호로 구성된 데이터 요소들의 집합이며, 이 데이터 요소들은 검색, 수정, 삭제 등의 작업이 가능합니다.

여기서 전화번호부를 자료구조로 생각하면, 전화번호부에서 이름으로 전화번호를 검색하는 기능은 검색 함수로 구현할 수 있습니다. 또한, 새로운 전화번호를 추가하는 기능은 추가 함수로 구현할 수 있습니다. 그리고, 특정 전화번호를 삭제하는 기능은 삭제 함수로 구현할 수 있습니다. 이렇게 자료구조에 적용 가능한 함수나 명령어는 데이터 요소들을 보다 효율적으로 처리하고, 조작할 수 있도록 도와줍니다.

 

머신러닝에서 사용되는 자료 구조는 다음과 같습니다.

  1. 벡터 (Vector)
  2. 행렬 (Matrix)
  3. 텐서 (Tensor)
  4. 리스트 (List)
  5. 배열 (Array)
  6. 데이터프레임 (Dataframe)
  7. 시리즈 (Series)
  8. 그래프 (Graph)
  9. 힙 (Heap)
  10. 큐 (Queue)
  11. 스택 (Stack)
  12. 해시 테이블 (Hash Table)
  13. 트리 (Tree)
  14. 그래프 (Graph)
  15. 맵 (Map)
  16. 세트 (Set)
  17. 덱 (Deque)
  18. 딕셔너리 (Dictionary)
  19. 문자열 (String)
  20. 파일 (File)
  21. 스칼라 (Scalar)
  22. 데이터셋

머신러닝에서 사용되는 자료 구조로는 주로 이러한 것들이 있지만, 다양한 라이브러리와 프레임워크를 사용하면서 추가적인 자료 구조를 사용하기도 합니다. 따라서 상황에 따라서는 다른 자료 구조도 사용될 수 있습니다.

머신러닝과 딥러닝의 차이

머신러닝(Machine Learning)은 컴퓨터 시스템이 데이터를 기반으로 패턴을 학습하여 예측을 수행하는 알고리즘의 일종입니다. 즉, 인간이 수동으로 작성한 규칙을 프로그램으로 구현하는 것이 아니라, 데이터를 바탕으로 자동으로 패턴을 학습하여 예측하는 방법입니다. 머신러닝은 주로 지도학습, 비지도학습, 강화학습으로 분류됩니다.
대표적인 머신러닝 알고리즘으로는 로지스틱 회귀, SVM, 결정 트리, 랜덤 포레스트 등이 있습니다.

반면에 딥러닝(Deep Learning)은 인공신경망(Artificial Neural Network)을 이용하여 머신러닝의 일종으로, 높은 수준의 추상화를 통해 데이터로부터 의미있는 정보를 추출하는 방법입니다. 딥러닝은 인간의 뇌가 작동하는 방식에서 영감을 받은 모델로, 다층 인공신경망을 이용하여 입력 데이터를 다량의 은닉층을 거쳐 변환하고, 이를 통해 높은 수준의 추상화된 표현을 학습합니다. 딥러닝은 이미지, 음성, 자연어처리 분야에서 매우 높은 성능을 보이고 있습니다.
대표적인 딥러닝 모델로는 CNN, RNN, LSTM, GAN 등이 있습니다.

딥러닝은 머신러닝의 한 분야이며, 머신러닝 알고리즘 중에서도 인공신경망과 같은 알고리즘을 이용합니다. 딥러닝은 매우 복잡하고 깊은 구조의 모델을 사용하여 머신러닝보다 더 정교한 분석을 수행할 수 있습니다. 하지만 이에 대한 비용이 더 많이 들어가며, 더 많은 데이터와 컴퓨팅 파워가 필요합니다. 또한, 딥러닝 모델의 설계와 학습 방법은 머신러닝보다 더욱 복잡합니다.

벡터화(Vectorization)

벡터(Vector)란 크기와 방향을 갖는 양을 나타내는 수학적 개념으로, 일반적으로 숫자들의 배열 형태로 나타내집니다.

텍스트와, 이미지 같은 비정형 데이터는 일정한 형식이 없어서 그대로 사용하기 어렵습니다. 예를 들어, 텍스트 데이터는 단어와 문장 등으로 이루어져 있으며, 이미지 데이터는 픽셀 값으로 이루어져 있습니다. 이러한 비정형 데이터를 다루기 위해서는 숫자로 변환하는 과정이 필요합니다. 벡터는 이러한 변환 과정에서 매우 유용한 자료구조입니다.

벡터는 크기와 방향을 가진 숫자 배열로, 특정한 방향으로 가리키며, 크기는 해당 방향으로의 크기를 나타냅니다. 벡터를 사용하면 데이터를 수학적으로 다루기 용이해지며, 비교 및 분석이 쉬워집니다.

반면, 자연수와 같은 다른 숫자를 사용하면 비교나 분석이 어렵습니다. 예를 들어, 자연수로는 ‘고양이’와 ‘개’와 같은 단어를 비교하는 것이 어렵지만, 벡터화하면 이들을 수학적으로 비교할 수 있습니다. 따라서 비정형 데이터를 다룰 때는 벡터를 사용하는 것이 일반적입니다.

그냥 자연수 같은 숫자대신 벡터화 하는것이 어떤 장점이 있는 아직 이해가 안되시는 분들을 위해 조금더 설명해 보겠습니다.

자연수로 ‘고양이’와 ‘개’와 같은 단어를 비교한다고 가정해봅시다. 이때, ‘고양이’를 1, ‘개’를 2라는 자연수로 부여한다면, 이들은 서로 다른 값을 가지므로 ‘고양이’와 ‘개’가 서로 다른 단어임을 구별할 수 있을 것입니다. 그러나 이 방법으로는 단어 간의 관계나 유사도를 파악하는 것이 어렵습니다.

반면에 벡터로 ‘고양이’와 ‘개’와 같은 단어를 비교하는 것은 더욱 정교한 비교가 가능합니다. 예를 들어, ‘고양이’와 ‘개’라는 단어가 벡터 [0.2, 0.7, 0.1, 0.3]와 [0.8, 0.1, 0.9, 0.5]와 같은 형태로 표현된다고 가정해봅시다. 이때 벡터의 각 차원은 다른 의미를 가지며, 단어의 특성을 나타냅니다. 이렇게 벡터로 표현된 단어는 서로 유사한 특성을 가지는 단어들은 벡터 공간에서 가까이 위치하게 되며, 이를 기반으로 단어 간의 관계나 유사도를 파악할 수 있습니다. 예를 들어, 벡터로 표현된 단어 간의 유클리드 거리를 계산하면 두 단어 간의 거리를 계산할 수 있습니다. 또한, 벡터의 내적을 계산하여 단어 간의 유사도를 파악할 수도 있습니다. 이러한 방법으로 단어 간의 관계나 유사도를 파악하는 것이 가능해지며, 이를 기반으로 자연어 처리나 텍스트 분석 등 다양한 분야에서 유용하게 활용됩니다.

이렇게 머신러닝에서는 문장과 같은 비정형 데이터를 다루기 위해, 문자열을 숫자 배열 형태인 벡터로 변환하는 작업을 수행합니다. 이를 벡터화(Vectorization)라고 합니다.

예를 들어, “나는 고양이를 좋아합니다”라는 문장을 벡터화한다면, 단어들을 고유한 인덱스로 매핑한 뒤 해당 인덱스의 위치에 횟수 정보를 저장하는 방법을 사용할 수 있습니다. 따라서 “나는”은 인덱스 0, “고양이를”는 인덱스 1, “좋아합니다”는 인덱스 2와 매핑될 수 있습니다. 이렇게 되면, “나는 고양이를 좋아합니다”는 [1, 1, 1, 0, 0, …]과 같은 숫자 배열 형태로 변환됩니다. 이 숫자 배열은 기계학습 모델에서 처리할 수 있는 형태가 되며, 이를 기반으로 문장의 의미를 분석하고 예측할 수 있습니다.

가중치(Weight)

머신러닝에서의 가중치는 입력 변수의 영향력을 나타내는 값으로, 선형 모델의 경우 각 입력 변수마다 가중치가 부여되어 해당 변수가 출력에 미치는 영향을 나타내게 됩니다. 이 가중치 값은 모델이 학습하면서 데이터에 적합하게 조정되며, 최적화 과정에서는 가중치를 조정하여 모델의 예측 성능을 향상시킵니다.

간단한 예를 들면, 다음과 같이 입력 변수 x와 출력 변수 y의 관계가 있는 데이터가 있다고 가정해봅시다.

x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

이 경우, y는 x에 대해 직선의 형태로 관계가 있다고 볼 수 있습니다. 이 관계식은 y = 2x로 나타낼 수 있으며, 여기에서 2는 x의 가중치입니다. 이 가중치는 모델이 학습하면서 최적화 과정에서 조정됩니다.

코드로 예를 들어보면, 다음과 같이 Numpy를 이용하여 간단한 선형 모델을 만들고 학습시킬 수 있습니다.

실행하기 #가중치(Weight)

import numpy as np

# 입력 변수 x와 출력 변수 y 정의
x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 6, 8, 10])

# 가중치 w 초기화
w = np.random.rand()

# 학습률과 최대 반복 횟수 설정
learning_rate = 0.01
max_iterations = 1000

# 경사 하강법으로 가중치 학습
for i in range(max_iterations):
    y_pred = w * x
    error = y - y_pred
    w = w + learning_rate * np.dot(x, error) / len(x)

# 학습된 가중치 출력
print(w)

이 코드는 입력 변수 x와 출력 변수 y를 정의하고, 초기 가중치 w를 무작위로 설정한 후 경사 하강법을 이용하여 가중치를 학습합니다. 최종적으로 학습된 가중치를 출력합니다.

수학에서의 기울기(Slope)와의 차이

편의상 수학시간에 많이 본 기울기 처럼 기억하면 되지만, 실제로 가중치(Weight)와 수학에서의 기울기(Slope)는 전혀 다른 개념입니다.

머신러닝에서의 가중치는 모델이 학습하는 과정에서 입력 변수에 대한 상대적인 중요도를 나타내는 값으로, 최적화 알고리즘을 사용하여 학습됩니다.

반면 수학에서의 기울기는 한 점에서의 함수 값의 변화량과 그 위치에서의 독립 변수의 변화량의 비율을 나타내는 값입니다. 함수의 기울기는 해당 점에서의 접선의 기울기를 말하며, 일반적으로 미분으로 구해집니다.

 

최적화 알고리즘

최적화 알고리즘은 모델의 예측값과 실제값의 차이를 최소화하는 가중치를 찾기 위해 사용됩니다. 다양한 최적화 알고리즘이 존재하지만, 대표적인 알고리즘들은 다음과 같습니다.

  1. 경사 하강법(Gradient Descent)
  2. 확률적 경사 하강법(Stochastic Gradient Descent)
  3. 미니 배치 경사 하강법(Mini-Batch Gradient Descent)
  4. 모멘텀(Momentum)
  5. 아다그라드(Adagrad)
  6. 아담(Adam)

경사 하강법은 비용 함수를 최소화하기 위해 가중치를 업데이트하는 방법으로, 가장 기본적인 최적화 알고리즘입니다. 확률적 경사 하강법은 경사 하강법의 변형으로, 매번 모든 데이터를 사용하지 않고 랜덤하게 선택된 데이터 하나씩을 사용하여 가중치를 업데이트합니다. 미니 배치 경사 하강법은 확률적 경사 하강법과 비슷하지만, 랜덤하게 선택된 일부 데이터를 미니 배치로 묶어서 사용합니다.

모멘텀은 이전에 업데이트된 가중치를 고려하여 새로운 가중치를 업데이트하는 방법입니다. 아다그라드는 학습률을 자동으로 조절하는 방법으로, 매개변수마다 다른 학습률을 적용하여 효과적인 학습을 도와줍니다. 아담은 모멘텀과 아다그라드를 결합한 알고리즘으로, 모멘텀과 아다그라드의 장점을 모두 가져와서 효과적인 학습을 돕습니다.

가중치 값은 학습 데이터에서 모델의 예측값과 실제값의 차이를 최소화하기 위해 최적화되므로, 학습 데이터와 관련된 가중치 값이며, 새로운 데이터에 대해서는 다시 최적화를 해야합니다. 이를테면, 학습한 모델이나 학습한 가중치를 그대로 사용하여 새로운 데이터에 대한 예측을 수행하는 것은 정확도가 떨어질 수 있습니다. 따라서 새로운 데이터에 대해서는 모델의 재학습이 필요합니다.

 

Logistic Regression

Logistic Regression은 로지스틱 함수를 사용하여 이진 분류(binary classification)를 수행하는 알고리즘입니다. 이 알고리즘은 입력 변수의 가중치 합을 로지스틱 함수에 넣어서 결과를 0과 1사이의 값으로 변환합니다. 이를 이진 분류에서 확률값으로 해석하여 예측하는 방식입니다.

이때 입력 변수의 가중치 합을 로지스틱 함수에 넣어서 확률값으로 변환하는데, 이 가중치는 입력 변수의 영향력을 나타내는 값입니다.

가중치 값은 일반적으로 최적화 알고리즘을 사용하여 계산됩니다. 최적화 알고리즘은 학습 데이터를 사용하여 모델의 예측값과 실제값의 차이를 최소화하는 가중치 값을 찾습니다. 이때 찾은 가중치 값은 모델의 학습 결과를 나타내는 것입니다.

예를 들어, 성별을 예측하는 문제를 생각해보겠습니다. 이 때, 입력 변수로는 나이, 키, 체중 등 여러 요인을 사용할 수 있습니다. 이러한 입력 변수들은 각각 가중치가 부여되어 로지스틱 함수에 적용됩니다. 로지스틱 함수의 출력값은 0과 1사이의 값으로 변환되며, 이를 성별에 대한 확률값으로 해석할 수 있습니다. 예를 들어, 로지스틱 함수의 출력값이 0.7이면, 해당 개체가 여성일 확률이 70%라는 것을 의미합니다. 따라서, 이 알고리즘은 이진 분류에서 예측 결과를 확률값으로 출력하므로, 분류 문제에서 매우 효과적으로 사용됩니다.

좀 더 쉬운 예를 들어보면, 로지스틱 회귀는 예를 들어 누군가의 공부 시간에 따라서 시험 합격 여부를 예측하는 경우를 생각해볼 수 있습니다. 이 때 공부 시간이 입력 변수이고, 합격 여부가 출력 변수입니다. 로지스틱 회귀 모델은 입력 변수(공부 시간)의 가중치 합을 로지스틱 함수에 넣어서 결과를 0~1 사이의 값으로 출력하고, 이를 이진 분류에서 확률값으로 해석하여 예측합니다. 즉, 공부 시간이 많을수록 시험에 합격할 확률이 높아진다고 예측할 수 있습니다.