Loss와 Accuracy는 항상 반비례 관계인가

일반적으로 Loss가 낮으면 학습이 잘됐기 때문에 정확도도 높습니다

 

따라서 Loss가 낮아지면 정확도는 높아지는 반비례 관계라고 생각하게 됩니다

 

하지만 Loss가 낮다고 해서 항상 Accuracy가 높아지는 반비례 관계가 아닙니다

 

두가지 예시를 보시면

 

1. 정확도가 높은 경우의 Loss

위의 경우는 낮은 확률로 정답을 다 맞춘 경우입니다

정답은 다 맞췄기 때문에 정확도는 1.0을 찍었고 Loss는 0.895로 나왔습니다

 

2. 정확도는 낮지만 1번 경우와 비교해 Loss가 낮은 경우

위의 경우는 왼쪽은 높은 확률로 정답을 틀린 경우 오른쪽은 높은 확률로 정답을 맞춘 경우입니다

하나는 틀렸기 때문에 정확도는 0.5을 찍었고 Loss는 0.869가 나왔습니다

 

 

 

1번 경우와 비교했을 때 정확도는 낮지만 Loss는 오히려 낮게 나왔습니다

정확도는 확률값이 0.5만 넘으면 맞다고 하기 때문에 확률값이 어떠냐에 따라 Loss가 달라질 수 있습니다

결론적으로 Accuracy는 0.5가 넘는 개수가 몇개인지 파악할 수 있고 Loss를 통해 확률값들이 어떠한지 확인할 수 있다고 보시면 됩니다