활연개랑

경사하강법 경사하강법이란, 쉽게말해 스칼라를 벡터로 계속 미분하는것으로 최적해로 위치할 수 있도록 하는 방법이다 계속 미분함으로써 다음과 같이 검정 지점으로 이동하도록 한다. 즉, 미분값이 0인 지점으로 계속 찾아가는 과정 = 경사하강법 미분값이 크면 클수록 변화량이 크게 존재한다. 변화량이 크므로 빠르게 0에 도달한다. 경사하강법의 과정 경사하강법은 한 스텝마다의 미분값에 따라 이동하는 방향을 결정한다. f(x) 값이 변하지 않을 때까지 반복한다. (여기서 learning_rate는 단계를 거쳐갈 때마다 얼만큼 움직일지 결정해준다.) learning rate learning rate (step size)가 크게되면 단계를 거칠 때마다 이동하는 거리가 크므로 빠르게 수렴할 수 있지만, 너무 크게 설정하면..

손실함수란? 학습이 진행되면서 해당 과정이 얼마나 잘 되고 있는지 나타내는 지표 (예측값과 실제값에 대한 차이를 loss function을 통해 계산 가능) 모델이 훈련되는 동안 최소화될 값으로, 주어진 문제에 대한 성공 지표 손실 함수에 따른 결과를 통해 학습 파라미터(가중치 값)를 조정 최적화 이론에서 최소화 하고자 하는 함수 미분 가능한 함수 사용 Keras에서는 주요 손실 함수를 제공합니다. sparse_categorical_crossentropy: 클래스가 배터적 방식으로 구분, 즉 (0,1,2,...,9)와 같은 방식으로 구분되어 있을 때 사용 categorical_cross_entropy: 클래스가 one-hot 인코딩 방식으로 되어 있을 때 사용 binary_crossentropy: 이진 ..