슬라이딩 윈도우 어텐션(Sliding-Window Attention)은 어텐션 메커니즘의 한 변형으로, 입력 시퀀스를 작은 윈도우로 나누어 어텐션을 수행하는 방법입니다. 일반적인 어텐션 메커니즘에서는 모든 입력 요소에 대해 어텐션을 계산하므로 입력 시퀀스가 길어질수록 계산 비용이 증가합니다.
슬라이딩 윈도우 어텐션은 이러한 문제를 해결하기 위해 입력 시퀀스를 작은 윈도우로 분할하여 각 윈도우에 대해 어텐션을 계산합니다. 윈도우의 크기는 고정된 값이거나 유동적으로 조절될 수 있습니다. 이렇게 함으로써 모델은 전체 시퀀스 대신 작은 일부분에 대해서만 어텐션을 수행하므로 계산 비용을 줄일 수 있습니다.
슬라이딩 윈도우 어텐션은 특히 메모리 효율적인 모델을 구현하기 위해 사용될 수 있습니다. 긴 시퀀스를 처리할 때 전체 시퀀스를 한 번에 다루지 않고 작은 조각으로 나누어 처리함으로써 메모리 사용량을 줄이고 계산 비용을 최적화할 수 있습니다.
이 방법은 자연어 처리(NLP) 모델의 성능을 향상시키는 데 유용하며, 특히 긴 문장이나 문서를 처리하는 경우 유용하게 적용될 수 있습니다.