[deeplearning(딥러닝)] deeplearning timeline (딥러닝 타임라인)

 

1943 - 워렌 맥컬록 (신경생리학자)

point word : "신경망"

 

- 생물이 학습을 하는 과정을 가지고 학습을 시키자! 

- 자극 - input - weight - 연산 - output

- 신경망이라는 수학적인 모델을 제시함

 

 

1958 - Frank Rosenblatt 

point word : Perceptron (퍼센트론)

* 퍼셉트론은 선형분류이다.

 

- 기존 신경망 모델을 응용,활용하여 실제 문제를 해결해서 퍼셉트론이 유명해짐 

- 퍼셉트론은 다수의 Input 값을 받고 하나의 output을 출력하는 선형분류이다. 

- 가중치라고 불리는 weight(weight 클수록 중요)가 각 입력신호에 부여되어 input값과 계산하고 input*weight을 통해 나오는 a가 정해져 있는 임계값을 넘게되면 1을 출력한다. 임계값을 넘지 않으면 0 또는 -1 을 출력한다. 

- 매우 유명해졌음

 

 

 1969 - 마빈 민스키

 

point word : XOR 문제

 

- 마빈 민스키는 perceptron으로 XOR 문제를 해결할 수 없음다는 문제점을 제시 

- perceptron은 선형분류만 가능하고 XOR처럼 비선형문제는 해결할 수 없다는 것이다.

 

 

 1986 - 제프리 힌튼

point word : multi layered perceptron (backpropagation) , 다층퍼셉트론, 역전파법

 

- 1969 ~1986 의 AI winter를 거치고 multi layered perceptron (backpropagation) 과 역전파법으로 인해 다시 부흥기를 맞음 

- but ,은닉층을 가지고 답을 잘 찾아내던 다층퍼셉트론+역전파법은 레이어를 추가할수록 결과가 안좋아짐 

- 심지어 신경망이 아닌 다른 기계학습 알고리즘들이 신경망 학습보다 잘 동작하게됨 

- 다시 신경망은 사람들의 눈에서 벗어나게 되었다.

 

 

2000~ - 제프리 힌튼

point word : pretraining 

 

- 많은 데이터를 이용해서 복잡한 신경망을 구성하는 레이어들 & 뉴런의 가중치 설정에 초기값을 잘 잡아주면 deep 한 신경망 연구가 가능하다는 논문을 냄

- 레이어와 뉴런들의 초기값을 잘 얻을 수 있는 사전훈련법(pretraining) 제안

 

2012 - ILSVRC 

- ImageNet 이미지 인식 경진대회 ILSVRC에서는 계학습법 SIFT, Fisher, SVM 이 우위에 있었음 

- 제프리 힌튼은 딥러닝 기술을 이용한 AlEXNET을 활용하여 평균 74%정도에 머물러 있던 분류 정확도를 84.69% 까지 올렸다

- 그 이후 ImageNet 경진대회에서는 대부분 딥러닝을 사용하게 되었다.~

 

 

딥러닝 사용 이후(2012~) 계속해서 떨어지는 에러율