[TIL]75. 신경망 개념 정리

스스로 용어 정리해보기

• Neuron: 신경계를 이루는 기본 단위. 신경 세포와 신경 조직을 이루고 있으며 인공 신경망(Neural Network) 동작 원리의 기초가 됩니다.

• Input Layer: 인공 신경망에서 데이터를 입력받는 층. 데이터의 특성 갯수가 곧 입력층의 노드 수가 됩니다. 또한, 다른 층과 달리 입력층은 말그대로 '데이터를 입력받는 역할'로만 작용합니다.

• Hidden Layer: 은닉층. 입력층과 출력층 사이에 있는 모든 층을 은닉층이라 부릅니다. 퍼셉트론의 기본 구조인 '가중합 연산' 및 '활성화 함수'로 구성되어있습니다. 노드 수는 우리가 임의로 설정 가능하며 주로 'relu'가 활성화 함수로 사용됩니다. 노드에서 일어나는 복잡한 계산 과정을 알기 어렵기 때문에 은닉층이라 부릅니다. 은닉층이 2개 이상인 경우를 '딥러닝'이라 표현합니다.

• Output Layer: 출력층. 입력층과 은닉층을 통해 어떠한 계산을 마치고 최종적으로 계산되는 예측값이 나오는 층. 이진 분류의 경우, 노드 수는 1개/활성화 함수는 주로 'sigmoid' 사용. 다중 분류의 경우, 노드 수는 타겟의 클래수 갯수/활성화 함수는 주로 'softmax' 사용. 회귀의 경우, 노드 수는 출력값의 특성 수(구하고자 하는 타겟의 갯수)/활성화 함수는 따로 지정하지 않습니다.

• Activation Function: 활성화 함수. 각각의 계산된 가중합을 어느 정도의 신호로 출력할지 결정하는 함수.

• Back Propagation: 역전파. 인공 신경망의 학습과정(순전파, 손실 계산, 역전파) 중 하나로 손실 계산(예측값과 타겟값 사이의 비교)을 통해 가중치를 적당한 값으로 수정하는 과정

• 퍼센트론 구조: 입력층을 통해 데이터가 들어오게 되고 각각의 은닉층으로 전달될 때 받아온 데이터에 임의의 가중치 및 편향 계산이 적용됩니다.(가중합 단계) 이후 각 은닉층의 노드에서 활성화 함수를 통해 결정된 값이 출력층으로 전달되고 출력층에서 최종적으로 예측된 값과 실제 타겟값(훈련 데이터 셋에서의)과 비교 후(손실 계산) 다시 이 손실 계산에 대한 가중치 미분(기울기)값을 이용해 이전 과정들에서 적용되었던 가중치들을 적당한 값으로(손실을 줄이기 위한 ; 예측값을 타겟값과 가깝게 하기 위한) 수정합니다.

특성 추출에 관련해서 다층 퍼셉트론 구조의 특징

기존 머신러닝의 관점에선, 우리가 스스로 특징(특성; feature)과 타겟의 관계를 추측하고 예측 혹은 어떤 engineering을 통해 선별하였습니다. 허나 딥러닝 알고리즘의 경우, 다층 퍼셉트론의 구조로 '역전파' 개념을 통해 모델 자체가 가중치를 조정하게 되고 이는 곳 입력값들에 대한 중요도를 얼마나 줄지를 결정하는 과정이라 볼 수 있습니다. 즉, 가중치를 조정함은 마치 우리가 머신러닝에서 직접 진행하던 데이터 추출 과정을 모델이 알아서 학습하게 되는 것과 같습니다. 이를 다시 한번 생각해보면, 일반적으로 딥러닝이 머신러닝보다 우수한 정확도를 나타냈을 때 이는 곧 우리의 특성 추출이 모델의 가중치 조정을 통한 특성 추출보다 못하다는 의미입니다. 즉, 우리가 데이터를 충분히 이해하지 못하는 것을 설명해주기도 합니다.