모델 학습 과정에서 주기적으로 모델의 현재 상태를 저장하는 작업을 체크포인트라고 합니다. 이때 저장되는 것은 모델의 가중치(weight)입니다. 가중치는 모델의 학습 파라미터로서, 모델이 예측을 수행하는 데에 사용되는 중요한 값들입니다.
체크포인트는 학습 중간에 발생하는 예기치 않은 문제로 인해 모델의 상태가 손실되는 것을 방지하고, 학습을 중단한 후 다시 이어서 진행할 수 있도록 도와줍니다. 또한, 학습 과정에서 가장 좋은 성능을 보이는 모델의 가중치를 선택하여 추론(inference) 단계에서 사용할 수도 있습니다.
따라서 “checkpoint”라는 용어는 모델의 학습 중간에 저장되는 가중치의 상태를 나타내는 것으로, 모델의 재사용성과 학습의 지속성을 보장하기 위해 사용됩니다.
예를 들어, 딥러닝 모델을 사용하여 이미지 분류를 수행하는 프로젝트가 있다고 가정해봅시다. 모델을 학습시키는 동안 매 에폭(epoch)마다 모델의 가중치를 저장하는 체크포인트를 생성할 수 있습니다. 이러한 체크포인트 파일은 모델의 학습 과정에서의 중간 결과물이며, 나중에 모델을 다시 로드하여 학습을 재개하거나 이전 상태로 복원하는 데 사용할 수 있습니다. 따라서 “모델 가중치 (checkpoint)”는 학습된 모델의 상태를 저장한 파일을 의미합니다.