💿 Data

[TIL]73. 더 나은 신경망 학습을 위한 방법

키워드 학습률 가중치 초기화 과적합 방지(가중치 감소, 드롭아웃, 얼리스타핑) 학습률 감소/계획법(Learning rate Decay/Scheduling) 학습률(Learning rate) : 매 가중치에 대해 구해진 기울기 값을 얼마나 적용할지를 결정하는 하이퍼파라미터 위에서 보는 것과 같이 학습률은 가중치를 갱신하는 과정(경사하강법)에서 해당 지점의 기울기를 얼마나 반영할지를 정해주는 파라미터입니다. 학습률이 너무 낮은 경우 : 시간이 너무 오래 걸리거나 끝내 최적점에 도달하지 못하게 됨 학습률이 너무 높은 경우 : 최적점을 지나쳐 발산하게 될 가능성 존재 위와 같은 문제를 해결하기 위한 방법들이 존재 학습률 감소(Learning rate Decay) 여러 옵티마이저(Adagrad, RMSprop, ..

[딥러닝]옵티마이저(Optimizer)

Optimizer란 혹시 셰르파라고 아시나요? 셰르파는 티베트언어로, '일로서 등반을 돕는 사람' 이라는 의미로 사용됩니다. 일반적인 우리나라 산이 아닌, 정말 험난한 산을 등반해야한다면 우리는 적당한 길잡이가 필요합니다. 베이스캠프가 어디있는지부터, 하루에 몇키로를 가는 게 좋을지, 구성원에 따라 체력안배는 어떻게 할지 등등을 가이드해줄 사람처럼 말이죠. 등반보단 하산에 좀더 가까운 느낌이지만, 마찬가지로 저희가 경사하강법을 통해 최적점을 찾아가는 과정에서 셰르파의 역할을 하는 것이 옵티마이저와 닮아있다고 생각했습니다. 길잡이마다 조금씩은 다른 조건으로 길을 가르쳐주고, 길잡이에 따라 산을 무사히 등반할 수도 있고 그렇지 못할 수도 있는 것 같습니다. Optimizer 종류 GD(Gradient Des..

[TIL]72. 신경망 학습

키워드 신경망 학습 메커니즘(순전파, 손실 계산, 역전파) 경사 하강법(Gradient Descent ; GD) : 가중치가 갱신되는 과정 옵티마이저(Optimizer)의 개념 신경망 학습 데이터 입력 및 신경망 각 층에서 가중치 및 활성화 함수 연산을 수행 모든 층에서 1의 과정을 진행 후 마지막 출력층에서 값을 출력(출력값) 손실 함수를 통해 예측값(prediction)과 실제값(target)의 차이를 계산 경사하강법과 역전파를 통해 각 가중치를 새롭게 갱신 어떤 학습 중지 기준을 만족할 때까지 1-4의 과정을 반복 Iteration : 1-4의 과정을 말하며 매 Iteration마다 가중치가 갱신됨 1번의 Iteration에는 순전파 과정(1-2), 손실계산 과정(3), 역전파 과정(4)으로 크게 ..

[딥러닝]손실 함수

손실 함수란 손실 함수 = 비용 함수(cost function ; cost) 입력값(x)를 F(w)라는 모델에 통과시켰을 때 나오는 값은 출력값(y_pred; 예측값)입니다. 모델의 최종 목적은 실제값(y_true; 참값, 관측값)에 최대한 가까운 예측값을 얻는 것입니다. 이 때, 예측값과 실제값의 차이를 확인하는 함수가 손실함수 입니다. 다시 말해, 우리가 설계한 모델이 입력값을 토대로 얼마나 잘 맞추었는지를 나타내는 지표라고 할 수 있습니다. 운동에는 운동마다 다른 규칙이 적용되듯, 우리가 설계한 모델(정확히는 우리가 풀고자 하는 문제의 종류)에 따라 다양한 손실함수를 사용합니다. 손실 함수의 종류 우리가 다루게 될 문제는 크게 3가지로 나눌 수 있습니다. 1) 회귀, 2) 이진 분류, 3) 다중 분..

[딥러닝]역전파 알고리즘

역전파 알고리즘 저희가 차를 구매하게 되면, 적당한 세팅 후 차량을 운전하게 됩니다. 기본적으로 시트 높이, 핸들과의 거리, 백미러 위치, 사이드 미러 위치 등을 조절하게 됩니다. 처음부터 본인에게 최적화 된 세팅은 한번에 이루어질 수 없기에, 시간이 흐르며 운전을 진행할수록 나에게 맞게 조금씩 세팅을 수정 반복하게 됩니다. 순전파 : 적당한 세팅을 통해 운전하는 행위 손실 계산 : '이 세팅은 조금 불편한데? 얼마나 조정할까?' 하는 생각 역전파 : 불편한 세팅에 대해서 조금씩 조정하는 행위 추가) 세팅을 조정할 때(의자 높이를 조정한다 할 때), 한번에 10cm를 낮추는 경우도 있고 아주 조금씩 1cm씩 낮추는 경우가 있듯이 세팅을 조정하는 방법은 다양합니다. 이런 세팅을 조정하는 방법이 옵티마이저의..