[딥러닝]역전파 알고리즘

역전파 알고리즘

• 저희가 차를 구매하게 되면, 적당한 세팅 후 차량을 운전하게 됩니다.
• 기본적으로 시트 높이, 핸들과의 거리, 백미러 위치, 사이드 미러 위치 등을 조절하게 됩니다.
• 처음부터 본인에게 최적화 된 세팅은 한번에 이루어질 수 없기에, 시간이 흐르며 운전을 진행할수록 나에게 맞게 조금씩 세팅을 수정 반복하게 됩니다.
• 순전파 : 적당한 세팅을 통해 운전하는 행위
• 손실 계산 : '이 세팅은 조금 불편한데? 얼마나 조정할까?' 하는 생각
• 역전파 : 불편한 세팅에 대해서 조금씩 조정하는 행위

추가)
세팅을 조정할 때(의자 높이를 조정한다 할 때), 한번에 10cm를 낮추는 경우도 있고 아주 조금씩 1cm씩 낮추는 경우가 있듯이
세팅을 조정하는 방법은 다양합니다. 이런 세팅을 조정하는 방법이 옵티마이저의 개념이라고 생각합니다. :)

정말 단순하게 들어본 비유이지만, 공부하시는 데에 도움이 되었으면 좋겠습니다!