MSE의 Weight Update의 불공정성(Feat. 분류 문제, Cross-Entropy,softmax,로그우도(Log Likelihood))
(아래의 글을 읽기 전에, MSE랑 Cross-Entropy 설명 시, Activation Function을 모두 Sigmoid 함수로 가정하여 설명을 하고 있다) MSE(Mean Square Error) 정답 레이블이 INDEX=[0,1] 중 0인 상황에서 예측값(o)이 각각 [0.7503(idx=0), 0.9971(idx=1)] 나온 두 경우를 생각해보자. (위에서도 언급했듯이, sigmoid 함수를 가정하여 설명하고 있으므로, idx=0과 idx=1은 동시에 나오는 값이 아니다.) (참고로, sigmoid 함수는 Binary Classification 등에서 주로 사용된다) 후자(0.9971)가 조금 더 큰 에러가 발생했으므로, 더 큰 그레디언트 값을 이용하여 가중치(weight)를 갱신시켜 주어야..
더보기