[TIL]71. 인공 신경망

인공 신경망(Artificial Neural Networks ; ANN ; 뉴럴넷)

• 실제 인간의 신경계를 모사하여 만들어진 계산 모델
• 신경망은 퍼셉트론을 여러 층으로 쌓아서 만듦
• XOR GATE를 해결하는 방법으로 퍼셉트론을 여러 층 쌓는 방법 제시
• 아래와 같이, AND, NAND, OR 의 조합으로 XOR을 구현 가능

• 이처럼, 여러 개의 층으로 구축한 신경망을 다층 퍼셉트론 신경망(Multi-Layer Perceptron ; MLP)라고 함

입력층, 은닉층, 출력층

입력층(Input Layer)

• 데이터셋이 입력되는 층
• 데이터셋의 특성 개수에 따라 입력층 노드 수가 결정
• 어떠한 계산도 수행하지 않고 그냥 입력값들을 전달하기만 하는 역할
• 신경망의 층수(깊이)를 셀 때 입력층은 세지 않음

은닉층(Hidden Layers)

• 입력층으로부터 입력된 신호가 가중치, 편향을 통해 연산되는 층
• 입력층과 출력층 사이에 있는 모든 층을 은닉층이라고 부름
• 계산의 결과를 직접 두 눈으로 확인할 수 없기 때문에 '은닉' 이라는 이름이 붙음
• 노드 수를 자유롭게 구성할 수 있음
• 일반적으로 은닉층이 2개 이상인 경우(다중 퍼셉트론 신경망), 딥러닝 이라고 표현

출력층(Output Layer)

• 가장 마지막에 위치한 층으로 은닉층에서의 연산을 마친 값이 출력되는 층
• 우리가 원하고자 하는 값이 출력되는 층인 만큼, 우리가 풀어야할 문제의 종류에 따라 출력층을 잘 설계할 필요가 있음
  • 이진 분류(Binary Classification) : 주로 활성화 함수로 시그모이드 함수 사용, 출력층 노드 수 = 1, 출력되는 값이 0과 1 사이의 확률값
  • 다중 분류(Multi-class Classification) : 주로 활성화 함수로 소프트맥스 함수 사용, 출력층 노드 수 = 타겟의 클래스 수
  • 회귀(Regression) : 일반적으로 활성화 함수를 지정하지 않음(어떤 변형 없이 출력값 그대로 나와야하니), 출력층 노드 수 = 출력값의 특성 수

Tensorflow의 keras 사용 간단한 예시

• 손글씨 MNIST 예시(tf.keras에서 기본적으로 제공하는 데이터셋)

import pandas as pd
import tensorflow as tf

mnist = tf.keras.datasets.mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data() # 데이터셋 split 하는 과정과 동일

x_train, x_test = x_train / 255, x_test / 255 # 일반적으로 이미지는 픽셀 최고값 255로 나눠주어 normalization

# 1번 
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(100, activation='relu'),
  tf.keras.layers.Dense(10, activation='softmax')
])

# 2번
model = tf.keras.models.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28, 28)))
model.add(tf.keras.layers.Dense(100, activation='relu'))
model.add(tf.keras.layers.Dense(10, activation='softmax'))

# 개인적으로 2번이 좀 더 모델링할 때 직관적으로 다가오는 느낌

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy']) # 위와 같은 조건으로 model compile

model.fit(x_train, y_train, epochs=10) # epoch는 학습 횟수