0. 객체 탐지 모델의 성능 평가 지표
정밀도 (Precision)
- 예측한 객체 중 실제로 정답인 객체의 비율
- 모델이 이것이 객체다! 라고 판단한 것들 중 실제로 맞는 것이 얼마나 많은지 측정
- 수식 : (TP) / (TP+FP) (=정밀도가 높을수록 모델이 잘못된 탐지를 덜 한다는 의미)
재현율 (Recall)
- 실제 존재하는 객체 중에서 모델이 올바르게 탐지한 객체의 비율
- 놓치지 않고 얼마나 많은 객체를 찾았는지 평가
- 수식 : (TP) / (TP+FP) (=재현율이 높을수록 모델이 더 많은 객체를 탐지하지만, 때때로 잘못된 탐지(FP)도 많아질 수 있다)
AP (Average Precision)
- 특정 클래스에 대해 Precision-Recall 곡선을 기반으로 평균 정밀도를 계산한 값
- AP는 Recall을 0에서 1까지 변화시키면서 Precision을 계산한 후 평균을 내는 방식으로 구한다.
- 객체 탐지 모델의 성능을 측정하는 대표적인 방법
- 보통 특정 IoU 기준에서 계산됨
예 ) AP @ IoU=0.5는 IoU가 0.5 이상인 경우에 대해 AP를 구함
IoU (Intersection over Union)
- 예측된 바운딩 박스와 실제 객체의 바운딩 박스가 얼마나 겹치는지를 나타내는 값
- IoU는 두 박스가 겹치는 영역의 면적을 두 박스의 총 합집합 면적으로 나눠 계산
- 값이 1에 가까울수록 예측 박스와 실제 박스가 거의 일치한다는 뜻. 보통 객체 탐지 성능 평가에서 특정 임계값을 기준으로 모델의 정확도를 평가함
mAP(mean Average Precision)
여러 클래스에 대한 AP 값을 평균 낸 값으로, 전체 모델의 객체 탐지 성능을 평가하는 종합적인 지표.
단일 클래스가 아닌 전체 데이터 셋에 포함된 모든 클래스의 성능을 반영
다양한 IoU 임계값(예 : 0.5~0.9)에 대해 평균을 내기도 한다.
IOU 임계값이 중요한 이유
- IOU 임계값은 객체 탐지 모델이 예측한 영역을 실제 객체와 비교해 성공적인 탐지(True Positive)인지 잘못된 탐지(False Positive)인지 결정하는 핵심 지표
- 따라서 임계값 설정은 모델의 성능 지표(Precision, Recall)를 결정하고, 최종적으로 서비스의 품질과 신뢰성을 좌우함
IOU 임계값 설정에 따른 영향
Precision과 비례하고, Recall과 반비례한다.
낮은 임계값 (예: 0.3)
객체를 탐지하는 범위가 넓어져 놓치는 객체가 적음 (Recall 증가)
대신 정확도가 떨어지고 잘못 탐지된 객체가 증가함 (Precision 감소)
높은 임계값 (예: 0.7)
탐지 정확성이 높아 잘못된 검출이 적음 (Precision 증가)
하지만 엄격한 기준 때문에 실제 객체를 놓칠 가능성이 높아짐 (Recall 감소)
IOU 임계값 설정의 기준 및 실무적 접근 방법
정확도 우선 분야 (자율주행, 의료 영상 분석 등)
오탐지(False Positive)가 치명적일 수 있기 때문에 높은 IOU 임계값 (0.6~0.8)을 설정하여 정확한 탐지 결과를 추구
정밀도 우선
탐지 누락 방지 우선 분야 (보안 카메라, 침입 탐지 등)
하나라도 객체를 놓치는 것이 더 큰 위험이므로, 상대적으로 낮은 IOU 임계값 (0.3~0.5)을 설정하여 객체 탐지를 적극적으로 수행
재현율 우선
실전 적용 시 권장 설정
1. NMS IoU : 중복 서류를 정리할 때, 얼마나 비슷해야 하나의 서류로 합칠지 (잔여 여부)를 결정하는 기준
- 초보자용 추천 값: 0.4 ~ 0.6 사이
- 중첩이 많은 데이터(예: 군중 영상)는 낮게, 물체 간 간격이 넓은 데이터는 조금 높게 조정
2. 평가 IoU : 얼마나 깐깐하게 맞췄는지 정하는 척도
- mAP50 (IoU ≥ 0.5) → 관대 기준
- mAP75 (IoU ≥ 0.75) → 엄격 기준
- mAP50-95 → 전체적 강건성 확인
3. 튜닝 방법
- 시각화: 예측 박스와 GT(ground-truth) 박스를 겹쳐 화면에 띄워 보고, NMS로 제거·남는 박스를 직접 눈으로 확인
- 그리드 서치: NMS IoU 임계값을 [0.3, 0.4, 0.5, 0.6, 0.7] 등으로 바꿔가며 Precision·Recall 변화를 기록