[TIL]70.퍼셉트론

퍼셉트론(Perceptron)

• 신경망을 이루는 가장 기본이 되는 단위
• 다수의 신호를 input으로 받아 하나의 신호를 output하는 구조

1. 가중치(weight)-편향(bias) 연산 ; 가중합(빨간색 영역)
   여러 개의 신호를 입력받아 각각의 가중치와 곱해지고 그 결과를 더하는 과정

2. 활성화 함수(Activation Function)
   계산된 가중합을 어느 정도의 신호로 출력할지 결정, 다양한 활성화 함수가 존재
   

• 계단 함수(Step function)

- 임계값 이상 1, 미만 0
- 단점 : 임계값에서 미분 불가능, 나머지 구간에서 미분값이 0

• 시그모이드 함수(Sigmoid function) : 계단 함수의 단점을 개선한 함수, 주로 이진분류문제 출력층에 사용

- 전 지점에서 미분 가능(그 값도 0이 아님)
- 단점 : 층을 여러겹 구성 시, 기울기 소실 문제 발생

• ReLU 함수(ReLU function) : 시그모이드 함수의 단점을 개선한 함수, 신경망 발전에 정말 큰 기여

- 시그모이드 함수의 기울기 소실 문제를 해결
- 단점 : 음의 값들이 0으로 되는 점때문에, dying ReLU라는 표현이 있음
- 이를 개선하기 위해 0 미만 부분을 다양한 함수로 채워넣는 여러 ReLU가 존재

• 소프트맥스 함수(Softmax function) : 다중 분류 문제에서 출력층에 적용되는 활성화 함수, 시그모이드를 일반화한 함수

- 다중 분류 문제에서 주로 사용
- 가중합 값을 통과시키면 모든 클래스 값의 합이 1이 되는 확률값으로 변환

논리게이트를 통한 퍼셉트론

1. AND GATE : 입력 신호 모두 1일 때, 1을 반환

2. NAND GATE : AND GATE의 반대, 즉 입력 신호가 모두 1일 때, 0 반환 / 나머지의 경우 1 반환

3. OR GATE : 하나라도 1이면 1을 반환

4. XOR(Exclusive-OR) GATE : 하나만 1일 때, 즉 서로 다를 때만 1을 반환

XOR GATE

• 신경망 초기, 퍼센트롭의 한계로 지적 및 공격받았던 논리게이트

• 위와 같이 하나의 퍼셉트론(선형 경계)으로는 빨간색과 파란색을 완벽히 나눌 수가 없었음
• 해서 나온 개념이 다중(다층) 퍼셉트론으로 선형 경계를 여러개 두는 방법이 고안됨