딥러닝 | Neural Network 계산, Loss function

Neural Network 계산, Loss function

hidden layer를 도입하면 정교한 예측을 할 수 있다고 했다

 

시작전에 용어를 설명하자면

동그란건 노드

 

노드를 합한걸 layer라고한다

 

이제 계산을 해볼텐데

저 노드안에 들어갈 것은 값이다.

그 값을 어떻게 구하냐면 연결된 노드들을 w(weight가중치)곱해서 더하면된다

 

만야 실제 값들이  아래 와같이 채워져있다면

(0.5*((50*0.2) + (60*0.1))) + (0.4*((50*0.3)+(60*0.2)))

수능 예측 점수는 이렇게 계산될것이다.

 

그리고

오차를 최소하하는 w값을 찾는것이 머신러닝이었는데

 

컴퓨터에게 오차가 뭔지에대해서 알려줘야한다

 

오차를 어떤식으로 계산하는지 예시를 들어보자

이거는 실제 데이터를 갖다가 비교를 하면 된다

 

수능첨수에서 예측한 수능점수를 빼면 오차가 나오고

이 오차들의 합을 최소화하는 방향으로 w값을 찾게 하면된다

 

하지만 이런식으로 하면 좀 문제가 생긴다

만약 오차가 음수가 나올수도 있을것이다.

 

그래서 절대값을 씌우거나 제곱을 해야하는데

주로 사용되는것이 평균제곱오차이다

오차를 제곱한다음 제곱한것들끼리의 평균을 구하느 것이다

이값을 최소화 하는 w값을 찾게끔 하면 된다

 

이거를 머신러닝에서 

Loss function 또는 Cost function 이라고 한다

 

모델의 정확도 평가시 오차를 구하는 함수라고 보면된다

수식으로 표현하면 아래와 같다

^ 은 hat 이라고 한다.

hat 들은 예측값이다

^이 안씌어져있으면 실제 값

 

점수와 같은 정수 값을 예측할때 위와같은 수식을 사용하고

 

0~1사이의 값인 확률, 분류 등을 구할때는 아래와 같은 식을 이용한다

 

실제로는 이걸 쓸일은 없다

tensorflow 코드 한줄이면 다 계산되어지니

우리가 직접 수학계산을 할필요는 없다.