크로스 엔트로피(Cross-Entropy)는 주로 분류 문제에서 두 확률 분포 간의 차이를 측정하는 데 사용되는 정보 이론의 개념입니다. 특히, 머신러닝 및 딥러닝에서 분류 작업의 손실 함수로 널리 사용됩니다.
크로스 엔트로피는 다음과 같이 정의됩니다:
– 이진 분류(Binary Cross-Entropy): 주로 이진 분류 문제에 사용됩니다.
– 이진 분류 문제에서는 각 예시에 대해 두 가지 클래스 중 하나를 예측하는 모델을 사용합니다.
– 모델의 출력을 통해 예시가 클래스 1일 확률을 p, 클래스 0일 확률을 1-p로 가정합니다.
– 실제 레이블을 통해 클래스 1에 속하는 경우 크로스 엔트로피는 -log(p)입니다.
– 실제 레이블을 통해 클래스 0에 속하는 경우 크로스 엔트로피는 -log(1-p)입니다.
– 범주형 분류(Categorical Cross-Entropy): 주로 다중 클래스 분류 문제에 사용됩니다.
– 다중 클래스 분류 문제에서는 각 예시가 여러 클래스 중 하나에 속하는 경우를 다룹니다.
– 모델의 출력은 예시가 각 클래스에 속할 확률 분포로 해석됩니다.
– 실제 레이블은 해당 클래스에 대한 확률이 1이고 다른 클래스에 대한 확률이 0인 원-핫 인코딩입니다.
– 크로스 엔트로피는 예측 확률 분포와 실제 원-핫 인코딩 레이블 간의 차이를 측정합니다.
크로스 엔트로피의 주요 아이디어는 예측이 실제 레이블과 얼마나 다른지를 정량화하며, 예측이 정확할수록 손실은 낮아집니다. 모델의 학습 과정에서 이 손실 함수를 최소화하는 방향으로 가중치를 조정하려고 노력합니다.
크로스 엔트로피 손실 함수는 분류 문제의 경우 효과적이며, 모델의 출력 확률 분포를 실제 레이블과 얼마나 잘 맞추는지를 측정합니다.