Jayden`s

[TIL]74. 신경망 - Hyper parameter

키워드 교차 검증(Cross_Validation) Grid_Search, Random_Search Scikit-learn/Keras Tuner 파라미터 vs 하이퍼파라미터 파라미터 : 매개변수, 모델 내부에서 결정되는 변수, 데이터로부터 결정되는 값 ex) 평균, 표준편차, 회귀계수, 가중치, 편향 등 하이퍼 파라미터 : 모델링 시 사람이 직접 세팅해주는 값, 종류가 굉장히 많음 ex) 학습률, epoch, 옵티마이저, 활성화 함수 등 즉, 사람이 결정하느냐 안하느냐에 따라 나뉘어집니다. 참고 Cross Validation(K fold) 머신러닝에서 교차검증(Cross-Validation ; CV)을 이용하여 최적의 하이퍼파라미터를 탐색하듯, 당연히 머신러닝 범주에 속하는 딥러닝도 가능(오히려 더 많은 ..

[10430]나머지

import sys A, B, C = map(int, sys.stdin.readline().rstrip().split()) i = (A+B)%C j = ((A%C) + (B%C))%C k = (A*B)%C l = ((A%C)*(B%C))%C print(i) print(j) print(k) print(l) 10430 나머지

[10926]??!

import sys id = sys.stdin.readline().rstrip() print(id + '??!') 10926 ??!

[TIL]73. 더 나은 신경망 학습을 위한 방법

키워드 학습률 가중치 초기화 과적합 방지(가중치 감소, 드롭아웃, 얼리스타핑) 학습률 감소/계획법(Learning rate Decay/Scheduling) 학습률(Learning rate) : 매 가중치에 대해 구해진 기울기 값을 얼마나 적용할지를 결정하는 하이퍼파라미터 위에서 보는 것과 같이 학습률은 가중치를 갱신하는 과정(경사하강법)에서 해당 지점의 기울기를 얼마나 반영할지를 정해주는 파라미터입니다. 학습률이 너무 낮은 경우 : 시간이 너무 오래 걸리거나 끝내 최적점에 도달하지 못하게 됨 학습률이 너무 높은 경우 : 최적점을 지나쳐 발산하게 될 가능성 존재 위와 같은 문제를 해결하기 위한 방법들이 존재 학습률 감소(Learning rate Decay) 여러 옵티마이저(Adagrad, RMSprop, ..

[딥러닝]옵티마이저(Optimizer)

Optimizer란 혹시 셰르파라고 아시나요? 셰르파는 티베트언어로, '일로서 등반을 돕는 사람' 이라는 의미로 사용됩니다. 일반적인 우리나라 산이 아닌, 정말 험난한 산을 등반해야한다면 우리는 적당한 길잡이가 필요합니다. 베이스캠프가 어디있는지부터, 하루에 몇키로를 가는 게 좋을지, 구성원에 따라 체력안배는 어떻게 할지 등등을 가이드해줄 사람처럼 말이죠. 등반보단 하산에 좀더 가까운 느낌이지만, 마찬가지로 저희가 경사하강법을 통해 최적점을 찾아가는 과정에서 셰르파의 역할을 하는 것이 옵티마이저와 닮아있다고 생각했습니다. 길잡이마다 조금씩은 다른 조건으로 길을 가르쳐주고, 길잡이에 따라 산을 무사히 등반할 수도 있고 그렇지 못할 수도 있는 것 같습니다. Optimizer 종류 GD(Gradient Des..