4주차_#2. 최적화 기법중 Newton's Method와 Gradient Descent 방법을 설명하세요.

Newton's Method

- 방정식 f(x) = 0의 해를 근사적으로 찾을 때 사용되는 방법.

  현재 x값에서 접선을 그리고 접선이 x축과 만나는 지점으로 x를 이동시켜 가면서 점진적으로 해를 찾아가는 방법

- 초기값을 잘 주면 금방 해를 찾을 수 있지만 잘못 주면 시간이 오래 걸리거나 아예 해를 찾지 못할 수 있다.

 

 

Gradient Method

- f'(x)가 0이 되는 점을 찾는 방법

- 미분하여 극소점을 찾아가는 방법 (local minimum에 빠질수도 있다는 것이 문제점)

- 모든 차원과 모든 공간에서 적용이 가능

 

 

정리

- 뉴턴법은 해를 찾는 수렴속도가 빠르고 해 근처에서 수렴속도가 급격히 느려지는 문제점이 없다. 반면 gradient descent는 해에 근접할수록 기울기가 0에 가까워 지기 때문에 수렴속도가 느려진다.

 

 

 

[참고]

Newton's Method : http://darkpgmr.tistory.com/58

Gradient Desenct : http://darkpgmr.tistory.com/133