확률 분포는 어떤 사건이 일어날 확률을 나타내는 함수 또는 분포입니다. 즉, 가능한 결과들에 대한 확률값의 분포를 표현합니다.
확률 분포는 일반적으로 확률 밀도 함수(PDF) 또는 누적 분포 함수(CDF)의 형태로 나타납니다. 확률 밀도 함수는 특정 사건이 발생할 확률을 나타내는 함수로, 특정 구간에 대한 확률을 구할 수 있습니다. 누적 분포 함수는 특정 값보다 작거나 같은 사건이 발생할 확률을 나타내는 함수로, 특정 값을 기준으로 이하의 확률을 구할 수 있습니다.
확률 분포는 이산 확률 분포와 연속 확률 분포로 나눌 수 있습니다. 이산 확률 분포는 가능한 결과가 이산적인 경우에 사용되며, 예를 들어 동전 던지기의 결과와 같이 확률적인 사건이 명확하게 정의됩니다. 연속 확률 분포는 가능한 결과가 연속적인 값을 가지는 경우에 사용되며, 예를 들어 주식 가격의 변동과 같이 연속적인 사건이 발생하는 경우입니다.
확률 분포는 확률 이론과 통계학에서 중요한 개념으로 사용되며, 다양한 분야에서 확률적인 사건이나 데이터의 분포를 모델링하고 분석하는 데 사용됩니다.
소프트맥스 함수와 확률분포
소프트맥스 함수는 로짓(Logit) 값을 확률 분포로 변환하는 함수입니다. 주어진 로짓 값들을 입력으로 받아 각 값에 대한 확률 값을 계산합니다. 소프트맥스 함수는 다음과 같은 수식으로 정의됩니다:
“`
softmax(x_i) = exp(x_i) / sum(exp(x_j))
“`
여기서 `x_i`는 로짓 값의 i번째 요소이며, `exp`는 지수 함수를 의미합니다. 소프트맥스 함수는 로짓 값을 각각의 지수 값으로 변환하고, 전체 지수 값의 합으로 나누어 정규화합니다.
로짓 값이 소프트맥스 함수를 거치면, 결과적으로 각 로짓 값에 대한 확률이 얻어집니다. 이때, 로짓 값이 클수록 해당 토큰의 확률이 높아지고, 로짓 값이 작을수록 해당 토큰의 확률이 낮아집니다.
따라서, 소프트맥스 함수를 통해 얻은 확률 분포는 각 토큰에 대한 예측 확률을 표현하며, 모든 확률 값은 0과 1 사이에 있으며 합계는 1입니다. 이러한 확률 분포는 토큰 예측이나 문장 생성과 같은 작업에서 사용됩니다.