object detection 성능지표

1. confusion matrix

	Predict Positive	Predict Negative
real Positive	TP	FN(Type 2 Error)	Sensitivity(TP/(TP+FN))
real Negative	FP(Type 1 Error)	TN	Specificity(TN/(TN+FP))
	Precision(TP/(TP+FP))		Accuracy(TP+TN/(TP+TN+FP+FN))

• Accuracy(정확도) : 맞게 검출한 비율(P는 P로 N은 N으로)
• Precision(정밀도) : P로 검출한 것 중에서 실제 P의 비율
• Sensitivity(민감도, =Recall(재현율)) : 예측과 실제 모두 P
• Specificity(특이성) : 예측과 실제 모두 N

 2. IoU(Intersection over Union)

 

빨간색 박스 : Ground Truth

초록색 박스 : Predict Truth

Predict와 Ground의 교집합/Predict와 Ground의 합집합

IoU의 값이 0.5이상이면 제대로 검출(TP)되었다고 판단

(threshold는 다른 값으로 설정가능)

 

3. ROC 곡선(Receiver Operating Characteristic 곡선)

y축에 TPR(True Positive Rate, =sensitivity(민감도), recall(재현율)), x축에 TNR(True Negative Rate, =Specificitiy(특이도))

모델의 정확도를 나타냄

4. PR 곡선(Precision-Recall 곡선)

y축에 precision, x축에 recall값이 있는 그래프

알고리즘은 precision, recall 모두 높아야하지만 둘은 trade-off 관계

좋은 PR 곡선은 AUC(Area Under the Curve곡선 아래 면적)이 큼

ROC곡선에서 AUC가 더 큰 알고리즘은 PR곡선에서도 AUC가 항상 더 큼

 

ROC곡선과 PR곡선비교 : https://www.biostat.wisc.edu/~page/rocpr.pdf

 

검색해보니 ROC곡선은 균형잡힌 데이터셋에, PR곡선은 불균형 데이터셋에 적절한 듯

참고 : https://stats.stackexchange.com/questions/7207/roc-vs-precision-and-recall-curves

ROC vs precision-and-recall curves

5. AP(Average Precision)

PR 곡선을 그리고 Precision을 평균낸 값

PR 곡선에서 곡선 아래쪽의 면적으로 계산

mAP(mean Average Precision)는 각 클래스의 Average Precision을 평균낸 값

computer vision분야에서 물체 검출 및 이미지 분류 알고리즘의 성능은 대부분 AP나 mAP로 평가

즉, mAP는 1개의 Object당 1개의 AP값을 구하고 여러 Object Detetor에 대해 평균을 구한 값