Разберём каждый исход:
- Истинно положительные результаты: дефект был, система его нашла.
- Истинно отрицательные результаты: дефекта не было, система правильно определила изделие как годное..
- Ложно положительные результаты: дефекта не было, система забраковала годное изделие. Это ложное срабатывание.
- Ложно отрицательные результаты: дефект был, система его не заметила. Это пропущенный дефект.
Ложное срабатывание может приводить к затратам на перепроверку и к простою линии. Пропущенный дефект может попасть к покупателю или на следующий этап производства. Это тоже создаёт расходы и риски. Что из двух обойдётся дороже, зависит от конкретного производства.
Матрица ошибок и показатели precision (доля верных срабатываний)и recall (полнота выявления дефектов) описывают бинарную классификацию: на изделии есть дефект или его нет. Если система должна найти дефект на изображении и указать его место, дополнительно оценивают качество обнаружения объектов. Для этого используют IoU, AP и mAP. Для сегментации дефектных областей применяют, например, IoU и Dice. Набор показателей зависит от задачи машинного зрения.