[TIL]74. 신경망 - Hyper parameter

키워드

• 교차 검증(Cross_Validation)
• Grid_Search, Random_Search
• Scikit-learn/Keras Tuner

파라미터 vs 하이퍼파라미터

• 파라미터 : 매개변수, 모델 내부에서 결정되는 변수, 데이터로부터 결정되는 값 ex) 평균, 표준편차, 회귀계수, 가중치, 편향 등
• 하이퍼 파라미터 : 모델링 시 사람이 직접 세팅해주는 값, 종류가 굉장히 많음 ex) 학습률, epoch, 옵티마이저, 활성화 함수 등

즉, 사람이 결정하느냐 안하느냐에 따라 나뉘어집니다.
참고

Cross Validation(K fold)

• 머신러닝에서 교차검증(Cross-Validation ; CV)을 이용하여 최적의 하이퍼파라미터를 탐색하듯, 당연히 머신러닝 범주에 속하는 딥러닝도 가능(오히려 더 많은 하이퍼파라미터가 존재)

K fold 와 Stratified K fold

from sklearn.model_selection import KFold, StratifiedKFold

kf = KFold(n_splits = 10)
skf = StratifiedKFold(n_splits = 10, random_state = 42, shuffle = True) # shuffle=True 하면 아예 데이터를 섞고나서 split함

• K fold : 그냥 일반적인 교차검증, 주어진 수에 맞게 10개로 나눠서 교차검증을 수행한다. 회귀모델에서 적용한다.
• Stratified K fold : 교차검증인데, 타겟의 클래스 분포를 고려해서 fold를 10개로 나눈다. 분류모델에서 적용한다.(애초에 타겟값이 연속적인 회귀문제에서는 적용할 수 없음)

교차검증 예시

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

model = Sequential()
model.add(Dense(32, activation='relu'))
model.add(Dense(32, activation='relu'))
model.add(Dense(1))

x_train = pd.DataFrame(x_train)
y_train = pd.DataFrame(y_train)

for train_index, val_index in kf.split(np.zeros(x_train.shape[0])):
    training_data = x_train.iloc[train_index, :]
    training_data_label = y_train.iloc[train_index]
    validation_data = x_train.iloc[val_index, :]
    validation_data_label = y_train.iloc[val_index]

    model.compile(loss='mean_squared_error', optimizer='adam')

    model.fit(x_train, y_train,
              epochs=10,
              batch_size=32,
              validation_data = (validation_data, validation_data_label),
              )

    results = model.evaluate(x_test, y_test, batch_size=32)
    print("test loss, test mse:", results)

HyperParameter Tuning

하이퍼파라미터 튜닝 방법

1. Babysitting or Grad Student Descent == 수작업
2. Grid Search : 하이퍼파라미터 별 주어진 값들의 조합을 모두 고려하여 학습하는 방법. 주어진 값을 늘리면 굉장히 오랜 시간이 걸리는 단점. 따라서 1~2개 정도의 하이퍼파라미터를 찾는데 유용
3. Random Search : 하이퍼파라미터 별로 일정한 범위를 주고 그 범위 내에서 무작위로 추출하여 조합을 만들어 학습.(조합 갯수를 정해주면 딱 그만큼만 학습) 상대적으로 중요한 하이퍼파라미터는 더 탐색하고 덜 중요한 파라미터에 대해서는 덜 수행함

위의 방식들은 탐색 결과를 본 후, 그 정보를 다시 새로운 탐색에 반영하여 성능을 높임

4. Bayesian Methods : 이전 탐색 결과의 정보를 새로운 탐색에 활용. 따라서 하이퍼파라미터 탐색 효율을 높일 수 있다.

Keras Tuner를 사용한 하이퍼파라미터 튜닝

예시) 전체적인 코드 구조만 볼 것

from tensorflow import keras
from tensorflow.keras.layers import Dense, Flatten

import tensorflow as tf

!pip install -U keras-tuner
import kerastuner as kt

def model_builder(hp):
  model=keras.Sequential()
  model.add(Flatten(input_shape=(28, 28)))

  hp_units=hp.Int('units', min_value=32, max_value=512, step=32)
  model.add(Dense(units=hp_units, activation='relu'))
  model.add(Dense(10, activation='softmax'))

  hp_learning_rate=hp.Choice('learning_rate', values=[1e-2, 1e-3, 1e-4])
  model.compile(
      optimizer=keras.optimizers.Adam(learning_rate=hp_learning_rate),
      loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
      metrics=['accuracy'])
  return model

tuner=kt.Hyperband(
    model_builder,
    objective='val_accuracy',
    max_epochs=10,
    directory='my_dir',
    project_name='intro_to_kt')

tuner.search(
    X_train, y_train,
    epochs=10,
    validation_data=(X_test, y_test))

추가) 한 셀에서 결과값 누적없이 최적화된 결과만 남게 해주는 것

import IPython

# 아래 셀에서 결과값을 누적 안되고 갱신하면서 깔끔하게 최적화된 값만 보여지게 해주는 것
class ClearTrainingOutput(tf.keras.callbacks.Callback):
  def on_train_end(*args, **kwargs):
    IPython.display.clear_output(wait = True)