[딥러닝]keras_cifar100 이용한 간단 신경망 및 과적합 방지, 하이퍼파라미터 튜닝

0) 데이터 불러오기 및 확인, Normalization

import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten, Dropout
from tensorflow.keras.optimizers import Adam
from tensorflow.keras import regularizers

# 데이터 불러오기
from tensorflow.keras.datasets import cifar100

(X_train, y_train), (X_test, y_test) = cifar100.load_data()

# 데이터 shape 확인
X_train.shape

# 타겟 확인(회귀/분류 구분, 분류일 때 이진 분류/다중 분류 여부 확인)
np.unique(y_train)

# 이미지 데이터 Normalization
X_train = X_train / 255.
X_test = X_test / 255.

1) 기본 모델

model = Sequential()
model.add(Flatten(input_shape=(32, 32, 3)))
model.add(Dense(256, activation='relu'))
model.add(Dense(128, activation='relu'))
model.add(Dense(100, activation='softmax'))

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

results = model.fit(X_train, y_train, epochs=30, batch_size=100, verbose=1, validation_split=0.2)

test_loss, test_acc = model.evaluate(X_test, y_test, verbose=2)

2) 과적합 방지 모델(가중치 감소, 드롭아웃, 얼리 스타핑 적용)

model2 = Sequential()
model2.add(Flatten(input_shape=(32, 32, 3)))
model2.add(Dense(256, activation='relu',
           kernel_regularizer=regularizers.L2(0.00001),
           activity_regularizer=regularizers.L1(0.00001)))
model2.add(Dropout(0.2))
model2.add(Dense(128, activation='relu',
           kernel_regularizer=regularizers.L2(0.00001),
           activity_regularizer=regularizers.L1(0.00001)))
model2.add(Dropout(0.2))
model2.add(Dense(100, activation='softmax'))

model2.compile(optimizer='adam',
               loss='sparse_categorical_crossentropy',
               metrics=['accuracy'])

# 얼리스타핑 적용
import keras

early_stop = keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=0, patience=10, verbose=1)

save_best = keras.callbacks.ModelCheckpoint(filepath="best.hdf5",
                                            monitor='val_loss',
                                            verbose=1,
                                            save_best_only=True,
                                            save_weights_only=True,
                                            mode='auto',
                                            save_freq='epoch',
                                            options=None
                                            )

results2 = model2.fit(X_train, y_train, epochs=30, batch_size=100, validation_split=0.2, verbose=1, callbacks=[early_stop, save_best])

# 그냥 학습된 결과 확인( loss: 3.5875, accuracy : 0.1580)
test_loss, test_acc = model2.evaluate(X_test, y_test, verbose=2)

# best weights 모델 확인
model2.load_weights("best.hdf5")
test_loss, test_acc = model2.evaluate(X_test, y_test, verbose=2)

3) GridSearchCV를 이용한 하이퍼파라미터 튜닝(기본 모델에 적용)

from sklearn.model_selection import GridSearchCV
from tensorflow.keras.wrappers.scikit_learn import KerasClassifier

def build_model3():
    model3 = Sequential()
    model3.add(Flatten(input_shape=(32, 32, 3)))
    model3.add(Dense(256, activation='relu'))
    model3.add(Dense(128, activation='relu'))
    model3.add(Dense(100, activation='softmax'))

    model3.compile(optimizer='adam',
                   loss='sparse_categorical_crossentropy',
                   metrics=['accuracy'])
    return model3

model3 = KerasClassifier(build_fn=build_model3, verbose=1)

# 튜닝할 하이퍼파라미터 : batch_size 및 epochs
param_grid = dict(batch_size=[16, 32, 64, 128],
                  epochs=[10, 20, 30])

model3_grid = GridSearchCV(estimator=model3, param_grid=param_grid, n_jobs=-1)
grid_results = model3_grid.fit(X_train, y_train)

# 각 grid 조합에 따른 accuracy 평균 및 표준편차 값
means = grid_results.cv_results_['mean_test_score']
stds = grid_results.cv_results_['std_test_score']
params = grid_results.cv_results_['params']

for mean, stdev, param in zip(means, stds, params):
    print(f"Means: {mean}, Stdev: {stdev} with: {param}") 

# best grid accuracy 및 사용한 parameter
print(f"Best : {grid_results.best_score_}")
print(f"using_params : {grid_results.best_params_}")

결론

• 무작정 과적합을 방지하는 것은 되려 학습 효율을 떨어뜨리게 된다.
• 모델을 fit할 때 정해지는 하이퍼파라미터 외에 다른 파라미터들 튜닝도 알아보기

기본 모델보다 더 좋은 성능을 낸 것은 아니기에 좋은 예시는 아니지만, 공부하시기에 큰 흐름을 보는 정도로 봐주시면 좋을 것 같습니다.

읽어주셔서 감사합니다. :)