딥러닝 | 활성함수(Activation Function)

활성함수

지금까지 했던 내용을 보면

히든레이어가 있든 없든 결과는 비슷하게 나오게 된다.

 

w1부터 w6을 아무리 이쁘게 조정을해도 결국 결과는 비슷하게 나온다는 것이다.

 

그래서 고안해낸 것이 활성함수이다

h1값을 계산한다음 

이걸가지고 다음노드로 넘어가는것이 아니라

활성함수라는 이상한 수식에 집어넣어서 한번 짜부라뜨리는 것이다

 

가장 유명한 활성함수는 sigmoid 이다

 

식을 그래프로 표현하면 아래와 같다

이거말고도 여러가 활성함수가 있다

 

Hyperbolic tangent, Rectified Linear Units 등

sigmoid vs Hyperbolic tangent

Rectified Linear Units

이런 활성 함수 중 아무거나 적용해주면

레이어가 제역할을 하게 된다.

레이어가 많으면 많을 수록 복잡한 예측을 할 수 있고

이거를 좀더 비주얼적으로 표현하자면

 

활성함수가 필요한 이유는

비선형적인 예측을 하고싶을때 사용하는 거라고 보면된다

지금까지 활성함수 없이 그냥 연산을 했던 예측들은 다 선형적인 예측이다

비선형적인 예측을 하고 싶으면 활성함수를 사용하면되는것이다

아래 왼쪽그래프보다는 오른쪽이 더 예측을 정교하게 할수있게 되는것이다.

 

activation function 이 없으면 neural network, 딥러닝 이 아니라고 보면된다

 

그리고 activation function 은 모든 레이어에 있어야하지만

마지막레이어(출력층)에는 없을 수도 있다.

 

자 이제 이걸 가지고 학습을 이제 할텐데

 

컴퓨터에게 시킬때 그냥 니가 w를 때려맞춰라 라는식으로 시키지않고

 

일정한 알고리즘을 가지고 역전파라는걸 시켜서 w 값을 업데이트하게 하는건데

 

이건 다음 포스트에서 다루겠다.