[딥러닝] Cost Function과 Activation Function

1. Cost Function(비용 함수)

• loss function(손실 함수)이라고 부르기도 한다.
• 신경망이 최적의 가중치, 파라미터(parameter)를 찾는데 사용되는 지표 → 인공신경망은 loss를 낮추는 방향으로 학습
• 대표적인 cost function에는 MSE, cross-entropy loss 2가지가 있음

MSE(Mean Squared Error)

• 실제값과 예측값간의 차이의 제곱합
• 수식에서 y_hat이 예측값에 해당. y_hat = $w_i * x_i + b_i$

MSE 수식

MSE 시각화

cross-entropy loss

• 분류 모델이 얼마나 잘 수행되는지 측정하기 위해 사용되는 지표
• 확률값(모델의 예측값)과 원핫인코딩된 레이블값과 비교하는 것

cross-entropy loss function 수식 (log식은 밑이 e인 자연로그)

2. Activation Function(활성화 함수)

일반적으로 입력 신호(위 그림에서 파란색 부분)의 총합을 출력 신호로 변환하는 함수를 말한다.

• 활성화 함수는 입력 신호의 총합이 활성화를 일으킬지 결정하는 역할을 한다. single-layer perceptron에서는 단순히 입력 신호를 조합해 다음으로 신호를 보낼지 말지를 결정했지만, 발전한 multi-layer perceptron에서는 신호의 전달 유무가 아닌 전달 강도를 결정한다.
• 활성화 함수에 선형(linear) 함수가 아닌 비선형(non-linear) 함수를 사용하는 이유:
  • 선형 함수인 $h(x) = cx$를 활성화 함수로 사용하면, $y(x) = h(h(h(x)))$이다. 실은 $a=c3$이면 $y(x)=a*x$와 동일한 식이다.
  • 따라서 뉴럴 네트워크에서 층을 쌓는 효과를 얻고 싶다면 활성화 함수로 비선형 함수를 사용해야 한다.