🤖 정확도, 정밀도, 재현율, 특이도, F1 점수?

정확도, 정밀도, 재현율, 특이도 F1점수는 기계 학습 모델의 성능을 평가하는 데 사용되는 주요 지표들이다.

 

정확도(Accuracy)는 전제 예측 중 올바르게 예측된 비율을 나타낸다. (정확하게 분류된 샘플의 비율)

모델의 전반적인 성능을 측정하고 평가할 때 사용하며 클래스 간 데이터 불균형이 적고, 모든 클래스가 동등한 중요도를 가질 때 적합하다.

-> 다중 클래스 분류 문제에 적합

ex) 암 진단 모델의 정확도는 전체 환자 중 정확하게 암을 예측한 비율을 의미한다.

만약 암 진단 모델의 정확도가 95%라면, 전체 환자 중에서 95%가 올바르게 암을 진단받았음을 의미한다.

 

정밀도(Precision)는 모델이 양성으로 예측한 것 중에서 실제도 양성인 비율을 나타낸다.

거짓 양성(FP)을 최소화하고자 할 때 사용하며 모델이 실제 양성을 얼마나 신뢰할 수 있는지를 측정하여 잘못된 예측을 최소화하고자 할 때 사용된다.

ex) 암 진단 모델의 정밀도는 양성으로 예측된 환자들 중에서 실제로 암을 가진 환자들의 비율을 나타낸다.

만약 정밀도가 90%라면, 양성으로 진단받은 환자들 중에서 90%가 실제로 암을 가진 환자들임을 의미한다.

 

재현율(Recall 또는 Sensitivity)는 모델이 실제로 양성인 것 중에서 올바르게 양성으로 양성으로 예측한 비율을 나타낸다. 거짓 음성(FN)을 최소화하고자 할 때 사용된다. 실제 양성을 놓지지 않고 모두 식별하는 것이 중요한 경우에 사용된다.

ex) 암 진단 모델의 재현율은 실제로 암을 가진 환자들 중에서 올바르게 암을 예측한 환자들의 비율을 나타낸다. 

만약 재현율이 85%라면, 실제로 암을 가진 환자들 중에서 85%가 올바르게 암을 진단받았음을 의미한다.

** 정밀도와 재현율은 서로 균형을 이루어야 하며, 특정 상황에서 한 지표를 최적화하면 다른 지표를 감소할 수 있어 모델의 성능을 평가할 때는 정밀도와 재현율을 함께 고려해야 한다.

 

특이도(Specificity)는 모델이 실제로 음성인 것 중에서 올바르게 음성으로 예측한 비율을 나타낸다. 거짓 양성(FP)를 최소화하며 실제 음성을 올바르게 식별하는 것이 중요한 경우에 사용된다.

ex) 암 진단 모델의 특이도는 실제로 암이 아닌 환자들 중에서 올바르게 암이 아님을 예측한 비율을 나타낸다.

만약 특이도가 95%라면, 실제로 암이 아닌 환자들 중에서 95%가 올바르게 암이 아니라고 진단 받았음을 의미한다.

 

F1 점수(F1 Score)는 정밀도와 재현율의 조화 평균으로, 두 지표의 균현을 고려한다.

양성 클래스와 음성 클래스의 중요도가 비슷할 때 적합하며, 모델의 성능을 정밀도와 재현율의 균형을 고려하여 평가하고자 할 때 사용된다.

ex) 암 진단 모델에서 양성 클래스(암 환자)와 음성 클래스(암이 아닌 환자)의 중요도가 비슷할 때, F1 점수를 사용하여 모델의 전반적인 성능을 평가할 수 있다.

 

이러한 성능 지표들은 모델의 특성과 문제의 복잡성에 따라 선택되며, 적절한 지표를 선택하여 모델을 평가함으로써 모델의 성능을 정확하게 이해하고 개선할 수 있다.