활연개랑

경사하강법 경사하강법이란, 쉽게말해 스칼라를 벡터로 계속 미분하는것으로 최적해로 위치할 수 있도록 하는 방법이다 계속 미분함으로써 다음과 같이 검정 지점으로 이동하도록 한다. 즉, 미분값이 0인 지점으로 계속 찾아가는 과정 = 경사하강법 미분값이 크면 클수록 변화량이 크게 존재한다. 변화량이 크므로 빠르게 0에 도달한다. 경사하강법의 과정 경사하강법은 한 스텝마다의 미분값에 따라 이동하는 방향을 결정한다. f(x) 값이 변하지 않을 때까지 반복한다. (여기서 learning_rate는 단계를 거쳐갈 때마다 얼만큼 움직일지 결정해준다.) learning rate learning rate (step size)가 크게되면 단계를 거칠 때마다 이동하는 거리가 크므로 빠르게 수렴할 수 있지만, 너무 크게 설정하면..