Độ chính xác trung bình có thực là giá trị trung bình của các tỷ lệ chính xác?

 

mAP là chỉ số được sử dụng phổ biến trong các bài toán thị giác máy tính, đặc biệt là phát hiện đối tượng trong ảnh. Vậy độ chính xác trung bình (mAP) có nghĩa là trung bình của các tỷ lệ chính xác?? Nếu bạn hiểu như vậy, hôm nay hãy cùng CSTSoft thử bóc tách ý nghĩa và công thức tính toán độ chính xác trung bình (mAP) nhé! Biết đâu bạn sẽ có một cái nhìn khác về chỉ số này!

mAP là gì?

Trong thị giác máy tính, MAP là một số liệu đánh giá được sử dụng phổ biến để phát hiện đối tượng (tức là khoanh vùng và phân loại). Khoanh vùng nhằm xác định vị trí của một đối tượng (ví dụ: tọa độ hộp giới hạn – bounding box) và phân loại cho biết đối tượng đó là gì (ví dụ: chó hoặc mèo).

Nhiều thuật toán phát hiện đối tượng, chẳng hạn như Faster R-CNN, MobileNet SSD và YOLO, sử dụng MAP để đánh giá mô hình phục vụ việc công bố các nghiên cứu.

Độ chính xác trung bình trung bình hoạt động như thế nào?

Độ chính xác đo lường mức độ chính xác của các dự đoán, tức là phần trăm dự đoán của bạn đúng.

Độ chính xác đo lường có bao nhiêu dự đoán mà mô hình đưa ra thực sự đúng.

TP = true positive (số dự đoán là “có” và khớp với kết quả)

FP = false positives (dự đoán là “có” và không khớp với kết quả)

Ví dụ: Hãy tính độ chính xác trong bức ảnh này

Phân loại và khoanh vùng đối tượng trong ảnh
Đây là một ví dụ phát hiện đối tượng cho các hệ thống hỗ trợ người lái nâng cao (ADAS) từ hình ảnh:

Số dự đoán đúng (TP) = 1

Số dự đoán sai (FP) = 0

Trong trường hợp này, bởi chỉ có một giá trị, trung bình của độ chính xác sẽ là 1.

mAP không được tính bằng cách lấy giá trị trung bình của các tỷ lệ chính xác.

Tính toán Precision và Recall

Hệ thống phát hiện đối tượng đưa ra dự đoán dưới dạng hộp giới hạn và nhãn lớp.

Đối với mỗi hộp giới hạn, ta đo độ chồng chéo giữa hộp giới hạn dự đoán và hộp giới hạn chính xác bằng chỉ số intersection over union (IoU).

Đối với các tác vụ phát hiện đối tượng, ta tính toán độ chính xác và thu hồi bằng cách sử dụng giá trị IoU cho một ngưỡng IoU nhất định.

Ví dụ: nếu ngưỡng IoU là 0,5 và giá trị IoU cho một dự đoán là 0,7, thì ta phân loại dự đoán là chính xác (TP). Mặt khác, nếu IoU là 0,3, ta phân loại nó là dự đoán sai (FP).

Điều đó cũng có nghĩa là đối với một dự đoán, chúng ta có thể nhận được các kết quả đúng hoặc sai khác nhau, bằng cách thay đổi ngưỡng IoU.

Một khái niệm quan trọng khác là “thu hồi” (recall).

Recall cho biết khả năng mô hình phát hiện được các kết quả “có”

TP = true positives

FN = false negatives (không dự đoán được đối tượng)

Định nghĩa chung cho độ chính xác trung bình (Average precision – AP) là tìm diện tích dưới đường cong precision-recall ở trên.

mAP là giá trị trung bình của AP.

Sự khác biệt giữa AP và MAP

Trong một số ngữ cảnh, AP được tính cho từng lớp và lấy trung bình để tìm mAP. Tuy nhiên, ở một số trường hợp khác, AP và mAP có ý nghĩa tương tự. Ví dụ, đối với đánh giá COCO, không có sự khác biệt giữa AP và mAP.

AP được tính trung bình trên tất cả các hạng mục. Độ chính xác trung bình hoặc điểm mAP được tính bằng cách lấy AP trung bình trên tất cả các lớp và / hoặc ngưỡng IoU tổng thể, tùy thuộc vào các bài toán phát hiện khác nhau.

Ví dụ:

Trong bài toán PASCAL VOC2007, AP cho một lớp đối tượng được tính cho ngưỡng IoU là 0,5. Vì vậy, mAP được tính trung bình trên tất cả các lớp đối tượng.

Đối với COCO 2017, mAP được tính trung bình trên tất cả các danh mục đối tượng và 10 ngưỡng IoU.