활연개랑

Transformer 기반 모델에서는 하나의 시퀀스를 하나의 벡터로 요약해야 하는 경우가 많음.예를 들어:문장 분류: 한 문장을 하나의 벡터로 표현이미지 분류: 한 장의 이미지를 하나의 벡터로 표현이럴 때 가장 자주 사용되는 방식이 바로 CLS(Classification) 토큰 활용임.CLS 토큰이란?BERT나 ViT 입력 시퀀스의 **맨 앞(0번째)**에 삽입되는 특수 토큰사전 정의된 의미가 없는 "빈칸" 같은 토큰모델이 학습을 통해 이 토큰에 의미를 부여하게 됨왜 CLS 토큰이 시퀀스를 대표하게 될까?1. 항상 같은 위치에 존재입력 시 맨 앞에 삽입됨위치 임베딩이 항상 고정됨모델이 예측 대상을 일관되게 학습할 수 있음2. 의미 없는 토큰 (초기 상태)실제 단어나 이미지 정보가 없음→ 자기 스스로 의미..