Я даю Согласие на обработку файлов cookie в соответствии с Политикой конфиденциальности. В случае отказа от обработки cookie я проинформирован о необходимости прекратить использование Сайта или отключить файлы cookie в настройках браузера.
OK

Как оценить точность системы машинного зрения

17 ноября 2026
Подрядчик называет цифру: «Точность нейросети 99 процентов». Звучит убедительно. Но на производстве эта цифра сама по себе почти ничего не говорит. Она не показывает, сколько брака система найдёт и сколько годных изделий забракует по ошибке.

Мы в Nord Clan разрабатываем платформу ML Sense и регулярно слышим один вопрос от заказчиков: как понять, что система работает хорошо. Отвечаем на него в этой статье.

Для справки: под точностью системы машинного зрения обычно понимают общее качество её работы. Но для оценки используют несколько отдельных метрик. Accuracy показывает долю правильных ответов, precision — долю верных срабатываний, а recall — полноту выявления дефектов. Эти показатели нельзя подменять друг другом.

Почему одной цифры недостаточно

Возьмём партию из 1000 изделий. В ней 10 с дефектом. Система ничего не отмечает и пропускает всё подряд.

Доля верных ответов составит 99%. При этом система не нашла ни одного дефекта.
Так бывает, когда брак редкий. Чаще всего на производстве он составляет доли процента. Поэтому общая доля верных ответов почти всегда выглядит высокой. Она зависит от количества годных изделий, а не от качества поиска дефектов.

Чтобы оценить работу системы, нужно учитывать все четыре исхода проверки и отдельно рассчитывать показатели для обнаруженных и пропущенных дефектов.

Четыре исхода проверки

Система проверяет изделие и выдаёт один из четырёх результатов. Их собирают в таблицу, которую называют матрицей ошибок нейросети.
Разберём каждый исход:
  1. Истинно положительные результаты: дефект был, система его нашла.
  2. Истинно отрицательные результаты: дефекта не было, система правильно определила изделие как годное..
  3. Ложно положительные результаты: дефекта не было, система забраковала годное изделие. Это ложное срабатывание.
  4. Ложно отрицательные результаты: дефект был, система его не заметила. Это пропущенный дефект.

Ложное срабатывание может приводить к затратам на перепроверку и к простою линии. Пропущенный дефект может попасть к покупателю или на следующий этап производства. Это тоже создаёт расходы и риски. Что из двух обойдётся дороже, зависит от конкретного производства.

Матрица ошибок и показатели precision (доля верных срабатываний)и recall (полнота выявления дефектов) описывают бинарную классификацию: на изделии есть дефект или его нет. Если система должна найти дефект на изображении и указать его место, дополнительно оценивают качество обнаружения объектов. Для этого используют IoU, AP и mAP. Для сегментации дефектных областей применяют, например, IoU и Dice. Набор показателей зависит от задачи машинного зрения.
Заполните форму, чтобы узнать больше о внедрении
системы ML Sense
Заполните форму, чтобы узнать больше о внедрении
системы ML Sense

Считаем на примере

Проверили 10 000 изделий. В партии 100 с дефектом и 9900 годных.

Результаты:
  • система нашла 90 дефектов (истинно положительные);
  • система пропустила 10 дефектов (ложно отрицательные);
  • система забраковала 50 годных изделий (ложно положительные);
  • система верно пропустила 9850 годных изделий (истинно отрицательные).

Теперь посчитаем показатели.
Общая доля верных ответов равна 99,4%. Из 140 изделий, которые система отметила как брак, 50 оказались годными. То есть примерно каждое третье срабатывание было ложным.

Вот почему нужна доля верных срабатываний и полнота выявления дефектов. Они показывают то, что скрывает общая цифра.

В тестовой выборке из примера всего 100 изделий с дефектом. Один дополнительный пропуск меняет полноту на один процентный пункт. Чем меньше дефектных изделий в выборке, тем менее надёжна оценка полноты. Поэтому смотрите не только на проценты, но и на количество примеров каждого вида дефекта. Для редких дефектов это особенно важно.

Как выбрать показатели под задачу

Универсальных значений нет. Всё зависит от цены ошибки. Мы предлагаем начинать с вопроса: что обойдётся дороже на вашем производстве, пропуск брака или лишняя проверка.
Для совместной оценки precision и recall используют F1-меру. Она рассчитывается как их гармоническое среднее. Однако F1 не учитывает стоимость ошибок в производстве. Поэтому при выборе пороговых значений дополнительно оценивают последствия пропущенного дефекта и ложного срабатывания.

Как выбрать precision и recall через порог

Нейросеть присваивает каждому объекту оценку уверенности в том, что на нём есть дефект. Порог определяет, при каком значении система считает результат положительным и отправляет изделие на отбраковку или дополнительную проверку.

При снижении порога система начинает отмечать больше изделий как потенциально бракованные. Это позволяет находить больше дефектов, но увеличивает количество ложных срабатываний. При повышении порога система становится избирательнее: ложных срабатываний обычно становится меньше, но часть дефектов может остаться незамеченной.

Порог выбирают по результатам проверки модели на отдельной выборке с учётом стоимости разных ошибок.

Условный пример зависимости показателей от порога уверенности:
Эти цифры иллюстрируют идею, а не закономерность для любой нейросети. Какой порог ставить, решает заказчик вместе с командой ОТК. Мы помогаем посчитать цену каждого варианта.
Заполните форму, чтобы узнать больше о внедрении
системы ML Sense
Заполните форму, чтобы узнать больше о внедрении
системы ML Sense

Как провести тестирование модели машинного зрения до запуска

Проверка перед запуском строится на данных, которые нейросеть не видела.
  • 1. Собираем отдельные выборки

    Делим данные на обучающую, валидационную и тестовую части. Тестовую не используем для обучения, настройки модели и подбора порога уверенности. Она нужна для независимой итоговой оценки. При разделении учитываем партии продукции и время съёмки, чтобы похожие кадры не попали одновременно в обучающую и тестовую выборки.
  • 2. Отражаем реальные условия

    В выборку включаем изображения, полученные в разные смены и на разных партиях сырья, при изменении положения изделий, освещения и состояния оптики. Это позволяет проверить, как система работает при условиях, которые отличаются от тех, на которых её обучали.
  • 3. Добавляем редкие дефекты

    Тестовые изображения с дефектами должны включать и частые виды брака, и редкие. Если редкого дефекта нет в выборке, мы не узнаем, как с ним справится система.
  • 4. Просим контролёров ОТК разметить выборку

    Эталоном служит решение специалистов. Спорные случаи разбираем вместе.
  • 5. Строим матрицу ошибок и считаем показатели

    Смотрим на полноту, точность и долю ложных срабатываний по каждому виду дефекта отдельно. Общая цифра по всем видам брака может скрыть слабое место.
  • 6. Запускаем пилот в параллельном режиме

    Система проверяет изделия рядом с контролёром, но решение пока принимает человек. Так мы сравниваем результаты на реальном потоке.
Такая валидация модели машинного зрения даёт заказчику честную картину до того, как система начнёт влиять на выпуск. Для оценки модели на производстве это основа.

Как оценивать систему после внедрения

Качество модели со временем может меняться. Меняется сырьё, настройки оборудования, освещение. Иногда на линии появляется новый вид брака.

Поэтому мониторинг точности машинного зрения нужен постоянно.

На практике мы используем такие инструменты:
  • Выборочная проверка
    Контролёр ОТК независимо проверяет часть изделий, в том числе те, которые система признала годными. По результатам сверки оценивают количество пропущенных дефектов и ложных срабатываний.
  • Контрольные образцы
    Через систему периодически пропускают изделия с известными дефектами и без них. Это позволяет проверить, распознаёт ли модель заранее известные отклонения.
  • Мониторинг срабатываний
    Отслеживают количество и долю изделий, которые система отправляет на дополнительную проверку или отбраковку, по сменам и партиям. Резкие изменения могут указывать на изменение производственных условий или поведения модели.
  • Журнал ошибок
    Фиксируют подтверждённые ложные срабатывания и пропущенные дефекты. Вместе со специалистами ОТК разбирают причины ошибок и пополняют обучающую выборку новыми примерами.
Эта работа относится к области MLOps. Она позволяет контролировать качество модели после запуска, вовремя выявлять отклонения и обновлять систему, когда меняются производственные условия. Если модель дообучают на новых данных, её качество повторно проверяют на независимой тестовой выборке, которую не использовали при обучении.

Как уменьшить ложные срабатывания

Если система часто бракует годное, мы проверяем несколько причин:
  • в обучающей выборке мало примеров нормы, которые похожи на дефект: блики, пыль, допустимые отклонения;
  • порог уверенности стоит слишком низко для этой задачи;
  • освещение или положение изделия на линии нестабильны;
  • модель не видела новую партию материала.

Дальше мы добавляем недостающие примеры, дообучаем модель, настраиваем порог или стабилизируем условия съёмки. Иногда ставим второй этап проверки только для сомнительных случаев.

Что спросить у разработчика системы

Перед выбором подрядчика задайте шесть вопросов:
  • На каких данных проверяли точность: на выборке с вашей линии или на общих примерах?
  • Какая полнота и какая доля верных срабатываний по каждому виду дефекта?
  • Сколько ложных срабатываний бывает за смену в штуках?
  • Кто размечал тестовую выборку?
  • Как проверяют качество после запуска?
  • Кто и как дообучает модель, если появится новый тип брака?
Если в ответ звучит только «точность 99%», попросите расшифровку.

Как мы работаем в ML Sense

ML Sense - платформа Nord Clan для контроля качества продукции на основе машинного зрения и нейросетей. Она входит в реестр российского программного обеспечения.

В оценке качества мы держимся трёх принципов:
Оцениваем систему на данных конкретного производства, а не только на демонстрационных изображениях
Подбираем показатели и пороги обнаружения с учётом особенностей дефектов и требований ОТК
Контролируем качество после запуска: разбираем ошибки, проверяем новые данные и при необходимости дообучаем модель.
Мы внедряем системы в реальные производственные процессы, в том числе в крупных компаниях, и сопровождаем их после запуска.
Хотите повысить точность
контроля качества продукции?
Мы оценим, как ML Sense справится с вашей задачей, какие показатели качества можно получить и что потребуется для настройки системы машинного зрения.
Хотите повысить точность контроля качества продукции?
Мы оценим, как ML Sense справится с вашей задачей, какие показатели качества можно получить и что потребуется для настройки системы машинного зрения.