활성화 함수
하이퍼볼릭탄젠트 함수 (Hyperbolic Tangent)
- 값이 작은 신호를 -1에 가까운 숫자로 바꾸어 내보냄.
- 시그모이드를 사용하여 출력값이 0에 가까워지면 신경망이 잘 학습하지 못한다는 한계가 존재함.
- 하이퍼 볼릭탄젠트는 0이 아닌 -1의 값을 출력하기에 이를 해결할 수 있다.
렐루 함수 (ReLU)
- Rectified와 Linear Unit의 결합
- 입력값이 0보다 작으면 0으로 내보내고, 0보다 클 경우 입력받는 값을 출력해 준다.
- 인공신경망을 학습시킬 때 활성함수로 주로 사용됨.
- 입력값이 음수일 경우 출력값이 0으로 같다는 단점이 있어서 이를 해결하기 위해 Leaky ReLU라는 함수 또한 새롭게 개발되어 사용되고 있다.
소프트맥스 함수 (Softmax)
- 최종 결과값을 정규화하는 데 사용하는 함수
- 인공신경망의 출력에 소프트맥스를 사용하면 분류 문제를 해결할 수 있음.
오차
경사하강법 (Gradient Descent)
- 기울기를 보고 기울기가 줄어드는 쪽으로 가중치 값을 이동
오차역전파법 (Back Propagation)
- 오차를 끝에서부터 거꾸로 가면서 줄임
- 마지막부터 처음까지 되돌아가면서 경사하강법을 사용하여 각각의 가중치 값을 수정
