활연개랑

Haar Wavelet이란?최초의 웨이블릿(1910년)매우 단순한 형태의 계단 함수(step function)한 구간에서 +1, 그 다음 구간에서 -1수식적 정의:기본 Haar 함수 (mother wavelet)여기서 (1, 0)은a = 1 → 스케일(크기)b = 0 → 위치(시간 이동)(a, b) 파라미터 의미 a (scale)얼마나 wavelet을 압축/확대할지작을수록 더 좁고 세밀해짐b (shift)wavelet을 시간축에서 얼마나 이동시킬지오른쪽으로 움직일수록 더 뒤에 위치함 : 전체 구간에 대한 큰 구조왼쪽 절반 구간의 구조오른쪽 절반 구간의 구조 → 그림에서 세 파형이 바로 이걸 시각화하고 있음.이걸 왜 쓰는가?직관큰 스케일(a=1)은 큰 구조 (예: 이미지 전체 밝기 변화)작은 스케일(a=1..

신호는 복잡하지만 구조가 있음현실의 신호는 노이즈와 불규칙성을 포함하지만, 동시에 패턴(구조)도 있음.예: 쥐의 뇌파를 보면 세 번의 진동 구간이 있고, 각 구간은 빠른 진동이 겹쳐져 있음.과학자는 구조를 수학적으로 분석해야 함“여기 물결처럼 보이네?”는 비과학적임.노이즈 속에서 신호의 구조를 분석할 정확한 수학 도구가 필요함.주파수 영역과 시간 영역의 이중성두 수 x₁, x₂ → 이를 직접 전달하는 대신,합(y₁ = x₁ + x₂), 차(y₂ = x₁ - x₂)로 표현 가능.이런 표현은 시간 도메인 ↔ 주파수 도메인 변환의 간단한 사례임.y₁은 저주파 (변화 없음), y₂는 고주파 (급격한 변화).푸리에 변환 (Fourier Transform)Joseph Fourier의 아이디어:“모든 신호는 여러 주..

Transformer 기반 모델에서는 하나의 시퀀스를 하나의 벡터로 요약해야 하는 경우가 많음.예를 들어:문장 분류: 한 문장을 하나의 벡터로 표현이미지 분류: 한 장의 이미지를 하나의 벡터로 표현이럴 때 가장 자주 사용되는 방식이 바로 CLS(Classification) 토큰 활용임.CLS 토큰이란?BERT나 ViT 입력 시퀀스의 **맨 앞(0번째)**에 삽입되는 특수 토큰사전 정의된 의미가 없는 "빈칸" 같은 토큰모델이 학습을 통해 이 토큰에 의미를 부여하게 됨왜 CLS 토큰이 시퀀스를 대표하게 될까?1. 항상 같은 위치에 존재입력 시 맨 앞에 삽입됨위치 임베딩이 항상 고정됨모델이 예측 대상을 일관되게 학습할 수 있음2. 의미 없는 토큰 (초기 상태)실제 단어나 이미지 정보가 없음→ 자기 스스로 의미..