💿 Data/이모저모

[딥러닝]하이퍼 파라미터 튜닝(sklearn의 RandomizedSearchCV, keras_tuner의 RandomSearch)

RandomSearch를 이용한 하이퍼 파라미터 튜닝 0. 데이터 불러오기 및 Normalization # 데이터 불러오기 from tensorflow.keras.datasets import mnist (X_train, y_train), (X_test, y_test) = mnist.load_data() # input 및 target 데이터 확인 X_train.shape set(y_train) # Normalization X_train = X_train / 255. X_test = X_test / 255. 1. 모델링 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Flatten, Dropout..

[딥러닝]keras_cifar100 이용한 간단 신경망 및 과적합 방지, 하이퍼파라미터 튜닝

0) 데이터 불러오기 및 확인, Normalization import numpy as np import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Flatten, Dropout from tensorflow.keras.optimizers import Adam from tensorflow.keras import regularizers # 데이터 불러오기 from tensorflow.keras.datasets import cifar100 (X_train, y_train), (X_test, y_test) = cifar100.load_data() # 데이터 shape..

[딥러닝]간단 신경망 및 머신러닝 모델링, 성능 비교

0) 데이터 확인 및 전처리 # 데이터 불러오기 import tensorflow as tf boston_housing = tf.keras.datasets.boston_housing (X_train, y_train), (X_test, y_test) = boston_housing.load_data() # 데이터 셋 shape 확인 X_train.shape # 데이터 특성 scale 맞추기 from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) 1) 신경망 모델 model = ..

[딥러닝]옵티마이저(Optimizer)

Optimizer란 혹시 셰르파라고 아시나요? 셰르파는 티베트언어로, '일로서 등반을 돕는 사람' 이라는 의미로 사용됩니다. 일반적인 우리나라 산이 아닌, 정말 험난한 산을 등반해야한다면 우리는 적당한 길잡이가 필요합니다. 베이스캠프가 어디있는지부터, 하루에 몇키로를 가는 게 좋을지, 구성원에 따라 체력안배는 어떻게 할지 등등을 가이드해줄 사람처럼 말이죠. 등반보단 하산에 좀더 가까운 느낌이지만, 마찬가지로 저희가 경사하강법을 통해 최적점을 찾아가는 과정에서 셰르파의 역할을 하는 것이 옵티마이저와 닮아있다고 생각했습니다. 길잡이마다 조금씩은 다른 조건으로 길을 가르쳐주고, 길잡이에 따라 산을 무사히 등반할 수도 있고 그렇지 못할 수도 있는 것 같습니다. Optimizer 종류 GD(Gradient Des..

[딥러닝]손실 함수

손실 함수란 손실 함수 = 비용 함수(cost function ; cost) 입력값(x)를 F(w)라는 모델에 통과시켰을 때 나오는 값은 출력값(y_pred; 예측값)입니다. 모델의 최종 목적은 실제값(y_true; 참값, 관측값)에 최대한 가까운 예측값을 얻는 것입니다. 이 때, 예측값과 실제값의 차이를 확인하는 함수가 손실함수 입니다. 다시 말해, 우리가 설계한 모델이 입력값을 토대로 얼마나 잘 맞추었는지를 나타내는 지표라고 할 수 있습니다. 운동에는 운동마다 다른 규칙이 적용되듯, 우리가 설계한 모델(정확히는 우리가 풀고자 하는 문제의 종류)에 따라 다양한 손실함수를 사용합니다. 손실 함수의 종류 우리가 다루게 될 문제는 크게 3가지로 나눌 수 있습니다. 1) 회귀, 2) 이진 분류, 3) 다중 분..