[머신러닝]민감도, 특이도, F1-Score란?(Sensitivity, Specificity)

 

목차

 

 

 

 

 

민감도, 특이도란?(Sensitivity, Specificity)

민감도(sensitivity)는 모델이 양성 클래스(positive class)를 정확하게 예측한 비율을 의미하며, 특이도(specificity)는 모델이 음성 클래스(negative class)를 정확하게 예측한 비율을 의미합니다.

 

 

• True Positive (TP): 100개 (실제 스팸인데 스팸으로 예측한 경우)
• False Positive (FP): 30개 (실제 정상 메일인데 스팸으로 예측한 경우)
• True Negative (TN): 850개 (실제 정상 메일인데 정상 메일로 예측한 경우)
• False Negative (FN): 20개 (실제 스팸인데 정상 메일로 예측한 경우)
• Positive = TP + FN : 120개 (실제 스탬인 경우)
• Negative = FP + TN : 880개 (실제 정상 메일인 경우)

 

 

보통 스팸메일을 예제로 설명을 많이 하는데 스팸 메일 통해 설명 드리겠습니다.

 

 

 

민감도는 위의 수식과 같이 표기 됩니다. 앞서 스팸의 예를 들면 실제 스팸 메일 중에 실제 스팸을 스팸으로 예측한 경우 입니다. 100/120

 

 

 

 

 

민감도는 위의 수식과 같이 표기 됩니다. 앞서 스팸의 예를 들면 실제 정상 메일 중에 실제 정상을 정상으로 예측한 경우 입니다. 850/880

 

 

 

민감도는 실제 양성 클래스를 판단할 때 중요한 분야에서 사용됩니다.

 

예를 들어, 암 진단 분야에서는 암 환자를 놓치지 않기 위해 높은 민감도를 가진 모델이 필요합니다. 특이도는 실제 음성 클래스를 판단할 때 중요한 분야에서 사용됩니다. 예를 들어, 보안 검사 분야에서는 허가되지 않은 사용자를 차단하기 위해 높은 특이도를 가진 모델이 필요합니다.

 

또한, 민감도와 특이도는 모델의 성능을 비교하는 데 사용됩니다. 두 모델의 민감도와 특이도를 비교하여 어떤 모델이 더 좋은 성능을 가지는지 알 수 있습니다.

 

하지만, 민감도와 특이도는 클래스의 불균형 문제에 대한 Trade-off가 있습니다. 클래스의 불균형이 있을 때, 민감도와 특이도가 모두 높은 모델을 찾는 것은 어려울 수 있습니다. 이 경우, 다른 지표를 함께 사용하거나 클래스 불균형 문제를 해결하는 방법을 고려해야 합니다.

 

 

 

 

 

위 그림과 같이 민감도와 특이성을 결정하는 것은 사용자의 기준(Threshold)입니다. A, B, C 라인 중에 어디를 기준으로 잡을지에 의해 민감도와 특이성이 결정 됩니다.

 

 

 

 

 

 

F1-Score란?

 

 

F-1 Score는 정밀도(precision)와 재현율(recall)의 조화 평균(harmonic mean)으로 계산되는 이진 분류 모델의 성능 지표입니다. 조화 평균은 두 값의 평균을 내는데 낮은 값에 가중치를 더 주는 평균 방법입니다.

 

정밀도(Precision): 모델이 양성 클래스(positive class)라고 예측한 케이스 중에서 실제로 양성 클래스인 비

TP / (TP + FP)

 

 

재현율(Recall): 실제 양성 클래스인 케이스 중에서 모델이 양성 클래스라고 정확하게 예측한 비율

TP / (TP + FN)

 

 

F-1 Score: 정밀도와 재현율의 조화 평균

 

F-1 Score는 정밀도와 재현율의 조화 평균을 사용하기 때문에, 두 지표 모두 고려한 모델의 성능을 평가할 수 있습니다. 따라서, 클래스 불균형 문제가 있을 때 사용하기 좋은 지표입니다.