활연개랑

Haar Wavelet이란?최초의 웨이블릿(1910년)매우 단순한 형태의 계단 함수(step function)한 구간에서 +1, 그 다음 구간에서 -1수식적 정의:기본 Haar 함수 (mother wavelet)여기서 (1, 0)은a = 1 → 스케일(크기)b = 0 → 위치(시간 이동)(a, b) 파라미터 의미 a (scale)얼마나 wavelet을 압축/확대할지작을수록 더 좁고 세밀해짐b (shift)wavelet을 시간축에서 얼마나 이동시킬지오른쪽으로 움직일수록 더 뒤에 위치함 : 전체 구간에 대한 큰 구조왼쪽 절반 구간의 구조오른쪽 절반 구간의 구조 → 그림에서 세 파형이 바로 이걸 시각화하고 있음.이걸 왜 쓰는가?직관큰 스케일(a=1)은 큰 구조 (예: 이미지 전체 밝기 변화)작은 스케일(a=1..

신호는 복잡하지만 구조가 있음현실의 신호는 노이즈와 불규칙성을 포함하지만, 동시에 패턴(구조)도 있음.예: 쥐의 뇌파를 보면 세 번의 진동 구간이 있고, 각 구간은 빠른 진동이 겹쳐져 있음.과학자는 구조를 수학적으로 분석해야 함“여기 물결처럼 보이네?”는 비과학적임.노이즈 속에서 신호의 구조를 분석할 정확한 수학 도구가 필요함.주파수 영역과 시간 영역의 이중성두 수 x₁, x₂ → 이를 직접 전달하는 대신,합(y₁ = x₁ + x₂), 차(y₂ = x₁ - x₂)로 표현 가능.이런 표현은 시간 도메인 ↔ 주파수 도메인 변환의 간단한 사례임.y₁은 저주파 (변화 없음), y₂는 고주파 (급격한 변화).푸리에 변환 (Fourier Transform)Joseph Fourier의 아이디어:“모든 신호는 여러 주..

Transformer 기반 모델에서는 하나의 시퀀스를 하나의 벡터로 요약해야 하는 경우가 많음.예를 들어:문장 분류: 한 문장을 하나의 벡터로 표현이미지 분류: 한 장의 이미지를 하나의 벡터로 표현이럴 때 가장 자주 사용되는 방식이 바로 CLS(Classification) 토큰 활용임.CLS 토큰이란?BERT나 ViT 입력 시퀀스의 **맨 앞(0번째)**에 삽입되는 특수 토큰사전 정의된 의미가 없는 "빈칸" 같은 토큰모델이 학습을 통해 이 토큰에 의미를 부여하게 됨왜 CLS 토큰이 시퀀스를 대표하게 될까?1. 항상 같은 위치에 존재입력 시 맨 앞에 삽입됨위치 임베딩이 항상 고정됨모델이 예측 대상을 일관되게 학습할 수 있음2. 의미 없는 토큰 (초기 상태)실제 단어나 이미지 정보가 없음→ 자기 스스로 의미..

Train loss 'nan'이 나올 때 확인해 볼 것 * input image에 nan값이 들어가는지 체크* augmentation 이후 nan이 되는 데이터가 있는지 체크* normalize할 때, min과 max값이 둘 다 0이어서 분모가 0이 되는 경우가 있는지 체크 -> 분모에 작은 값(epsilon) 더하기* learning rate가 너무 커서 발산할 가능성이 있는지 체크* Gradient Explosion 또는 Underflow/Overflow 체크 --> Gradient Clipping을 적용하여 폭발적인 gradient를 방지

Traceback (most recent call last): File "/inference.py", line 244, in pred = model(input_img, is_training=False) File "/home/.local/lib/python3.8/site-packages/keras/engine/base_layer.py", line 1037, in __call__ outputs = call_fn(inputs, *args, **kwargs) File "/home/.local/lib/python3.8/site-packages/tensorflow/python/eager/def_function.py", line 885, in __call__ result = self._call(*args, **kwd..

((kernel size - 1) * dilated rate + 1)²

import tensorflow as tf from tensorflow.python.training import py_checkpoint_reader checkpoint_path = f'/cp-{123:0>4}.ckpt' reader = py_checkpoint_reader.NewCheckpointReader(checkpoint_path) dtype_map = reader.get_variable_to_dtype_map() shape_map = reader.get_variable_to_shape_map() state_dict = { v: reader.get_tensor(v) for v in shape_map} with open('weight_check.txt', 'w') as file: file.write..