SGD
-
[n412] 역전파, 경사하강법, 옵티마이저AI 부트캠프 2021. 12. 20. 10:22
신경망 학습 입력층에 데이터가 입력되면 신경망의 각 레이어 (층)에서 연산을 수행한다. 여기서 연산은 가중치, 활성화 함수 연산을 의미한다. 위의 과정을 모든 레이어에서 한 뒤 출력층에 결과를 출력한다. 출력층의 결과(예측값)와 실제값 의 차이를 손실 함수를 이용해서 계산한다. 그 차이(예측값과 실제값)를 줄이기 위해 가중치를 갱신한다. => 경사하강법과 역전파 이를 여러차례 반복한다. 순전파 (Forward Propagation) 순전파는 입력층에서 출력층까지 계산을 해서 값을 출력하는 과정을 뜻한다. 1. 입력층에서 데이터를 입력 받는다. 신호는 다음 은닉층으로 넘어 간다. 2. 입력된 데이터에 가중치-편향 연산을 수행한다. 3. 다음 층으로 가중합을 통해 구해진 값이 활성화 함수를 통한 뒤 전달된다..