[n114] 미분 개념과 경사하강법

기본 개념

미분과 적분은 변화에 관한 수학이다.  미분은 특정 값에 대해서 나오는 결과값이 변화하는 정도를 계산 하는 것이다.

머신러닝, 딥러닝을 사용 할 때 최적화를 위해 미분이 필요하다.

 

 

도함수의 개념

 $f(a) = 3a$ 일 때, 기울기는 3이다.

 $ {df(a) \over da}$ 

 

기울기는 도함수의 개념을 쉽게 말한 것이다.

 $slope(기울기) = {height \over width}$ 

 

$(fg)' = {f'g +fg'}$

 

 

Chain rule 개념

함수의 함수를 미분하기 위해 사용하는 방식이다. 

예를 들어 $y={(3x^2+1)}^7$ 일 때, $dy \over dx$ 를 찾아야 할 경우, 

outside 함수의 미분부터 한 뒤, inside 함수의 미분을 실행 한다.

 

 

Python 으로 미분하기

Scipy 사용하기

from scipy.misc import derivative

result = derivative(f,1, dx=1e-6) 
result

 

Python 으로 numerical methon

# 미분 함수 구하는 numerical_derivation 정의
def numerical_derivative(fx, x):
    delta_x = 1e-5

    return (fx(x + delta_x) - fx(x)) / delta_x

 

 

편미분 (Partial Derivative)

파라마타가 2개 이상인 함수에서 파라마타 1개에 대해서만 미분을 해결 한다.

 

 

경사하강법 (Gradient Descent)

경사하강법(GD)는 오차 함수를 최소화 하는 값을 찾는 최적화 알고리즘이다. 임의의 a, b 값을 random으로 구한 뒤 기울기를 계산해서 기울기 값이 낮아지는 방향으로 진행된다. 경사하강법은 기울기의 반대 방향으로 이동한다. 즉, 기울기를 계속 작게 만들어서 0인 지점을 찾는 것이 경사하강법이다. 

경사하강법 (Gradient Descent) 직접 구현하기

 

 

부트캠프 공부 내용 한 눈에 보기

[인덱스] 코드 스테이츠 AI 부트캠프