[1] Introduction

1. 딥러닝의 시작 : 

 

1950년대 신경과학자들은 동물의 시각피질이 단순한 윤에서 복잡한 패턴으로 처리하는 계층구조를 가지고 있다는 사실을 발견했고, 이 계층 구조가 지금 딥러닝의 근간이 됐다.

 

즉, 시각 정보는 계단처럼 단계적으로 처리된다는 관찰이 현대 딥러닝의 개념적 출발점이었다.

 

---

 

2. Neocognitron

AI가 한동안 정체되었던 시기, 일본에서 개발한 neocognitron은 딥러닝 역사에서 중요한 전환점이 되었다.

 

5~7개의 계층으로 구성된 초기 신경망

- 초반 계층은 단순한 특징 추출(컨볼루션과 유사)

- 후반 계층은 정보 압축과 패턴 인식(풀링의 초기 형태)

완전한 학습 기반 모델은 아니었지만, 오늘날 CNN 구조의 원형을 만든 모델이다.

 

---

 

3. 딥러닝을 진짜 '학습'하게 만든 Backpropagation

1986년, 힌튼 등 연구자들이 역전파(Backpropagation)을 정립하면서 비로소 신경망이 '배우는' 방식이 완성되었다

 

이전까지는 사람이 파라미터를 직접 조정해야 했지만, 

역전파는 출력 오차를 거꾸로 전달하여 파라미터를 자동으로 업데이트하는 방법이다.

 

이 기술 덕분에 신경망은 규모가 커도 실제로 학습이 가능해졌고, 딥러닝의 이론적 기반이 갖춰졌다

 

---

 

4. 초기 성과와 한계 : CNN의 첫 실전 투입

90년대 르쿤은 역전파를 활용한 CNN을 개발해 우체국 숫자 인식 시스템에 실제로 적용했다.

하지만 이 기술은 단순한 숫자/문자 인식에서는 강했지만, 고양이나 개 등 복잡한 자연 이미지에서는 성능이 좋지 못했다.

 

다시 말하면, "모델 구조는 탄탄했지만, 데이터가 부족하다"라는 한계가 명확히 드러났기 때문이다.

 

딥러닝 모델은 파라미터가 수백만~수십억 개에 달하는 고용량 모델인데,

이런 모델이 제대로 일반화하려면 많은 양의 데이터가 필수지만 당시에는 이런 데이터가 없었는데

당시 아키텍처 연구만 활발했지, 데이터의 중요성은 과소평가된 시기로 평가된다.

 

---

 

 

5. ImageNet 이 만든 딥러닝의 재탄생

위 문제를 해결하기 위해 인간이 인식하는 범주구조를 참고하였고,

1,500만 장의 이미지와 22,000개의 카테고리고 구성된 ImageNet을 만들었다!

 

이후에 ImageNet Challenge가 시작되었고,

2012년 힌튼 연구팀의 AlexNet이 오류율을 절반으로 줄이며 우승을 거뒀다.

 

이 승리를 기점으로 딥러닝은 완전히 다른 시대에 들어서는 계기가 되었다.

역전파 + 대규모 모델 + 대규모 데이터