Как правильно размечать дефекты для обучения нейросети

Нейросеть учится находить закономерности по размеченным примерам и использовать их при анализе новых изображений. От того, насколько точно и последовательно размечен обучающий набор, зависит, насколько хорошо модель справится с этой задачей на реальном производстве.

Мы в Nord Clan готовим датасеты для промышленных проектов и собрали в статье практическую методику: что считать дефектом, как обозначать его границы, какой класс назначать, что делать с мелкими и частично видимыми дефектами, как делить датасет на выборки и проверять его перед обучением.

Разметка данных для обучения моделей машинного зрения — основа, на которой строится модель. Ошибки в разметке добавляют шум в обучающие данные и могут ухудшать способность модели правильно распознавать дефекты.

Особенно критичны систематические ошибки. Например, когда один и тот же тип дефекта разные разметчики обозначают по разным правилам: кто-то включает соседний нормальный участок в границу объекта, кто-то нет. Такое расхождение сложнее заметить, чем единичную опечатку в классе.

Поэтому чёткие правила разметки изображений, зафиксированные до начала работы, экономят время на переделку и повторное обучение.

Прежде чем перейти к типам разметки и работе с частными случаями, стоит закрепить общий порядок действий для каждого объекта на изображении.

Эта последовательность — то, что мы закрепляем в инструкции для команды перед началом любого проекта по разметке дефектов.

Для задач контроля дефектов применяют три основных подхода к разметке.

Каждый подход требует своего типа разметки, и от выбора зависит, сколько времени уйдёт на подготовку датасета.

Прямоугольная рамка подходит для следующих случаев:

• поиск и подсчёт отдельных дефектов на изделии;
• определение координат дефекта на поверхности;
• контроль дефектов, для которых точная форма и площадь не имеют значения для решения;
• случаи, когда дефект можно достаточно точно описать прямоугольной областью без искажения смысла задачи.

Сегментация с маской подходит, когда важно определять точную форму или площадь дефекта:

• трещины, сколы, коррозия неправильной формы;
• расчёт доли поражённой поверхности от общей площади изделия;
• дефекты, которые накладываются друг на друга или пересекаются, если важно точно разделять их области.

В проектах ML Sense мы часто начинаем с разметки прямоугольными областями, а переходим к маскам там, где заказчику нужна количественная оценка дефекта, а не только факт его наличия.

Прежде чем размечать датасет, команда должна договориться о классах. Это отдельная работа, и от неё зависит качество разметки датасета.

Атлас дефектов снимает часть вопросов у команды разметчиков и ускоряет работу над датасетом изображений дефектов.

В задачах, где модель должна отличать брак от нормы, в датасете обязательно нужны примеры нормальной продукции. Они помогают модели отделять дефекты от естественных вариаций поверхности, освещения и внешнего вида изделия.

При этом состав обучающей выборки зависит от выбранного подхода.

Качество разметки — не единственное, что определяет результат. Важно и то, насколько разнообразен сам набор изображений. В датасете стоит представить:

• разные даты или смены производства, если условия процесса со временем меняются;
• допустимый диапазон размеров и формы объекта;
• разные положения изделия относительно камеры;
• разные степени выраженности дефекта, от едва заметного до явного;
• реальные условия освещения на производстве;
• допустимые изменения фона;
• нормальные изделия без дефектов;
• редкие и пограничные случаи.

Не стоит просто добавлять сотни почти одинаковых фотографий одного и того же дефекта. Количество изображений само по себе не гарантирует качество датасета, важна его репрезентативность по отношению к реальным условиям, в которых будет работать модель.

Для мелких дефектов важно проверить, сколько пикселей займёт объект после масштабирования изображения внутри модели. Если при изменении размера дефект становится практически неразличимым, одной аккуратной разметкой проблему не решить: потребуется пересмотреть разрешение съёмки, оптику или параметры обработки изображения.

Дополнительно помогают такие правила:

При обучении модели важно сохранять достаточный контекст изображения, по которому она сможет отличать дефект от нормальной поверхности. При этом сама область разметки должна соответствовать установленным правилам и не включать лишний фон.

Дефект может быть обрезан краем кадра, продолжаться за пределами изображения или частично закрыт другим объектом. Для каждого из этих сценариев нужно заранее решить:

• как размечать видимую часть дефекта и как обозначать случаи, когда он обрезан границей кадра или перекрыт другим объектом;
• как помечать такие случаи отдельным признаком, чтобы модель не путала обрезанный дефект с маленьким полным;
• что делать, если дефект пересекает границу кадра: считать его отдельным объектом или исключать из выборки.

Главное правило здесь — решение должно быть принято до начала разметки и зафиксировано в инструкции, а не определяться каждым разметчиком отдельно для каждого кадра. Если одинаковые случаи размечаются по разным правилам,, датасет получается противоречивым.

Не все дефекты очевидны. Иногда сложно понять, брак это или допустимое отклонение. Здесь помогают три инструмента.

Для классификации и других типов разметки применяют разные метрики согласованности, а для пространственных аннотаций сравнивают сами области разметки. Зачастую низкое согласие говорит не о плохой работе разметчика, а о том, что критерий дефекта описан недостаточно чётко и его нужно уточнить в инструкции.

Готовый датасет делят на три выборки.

Отдельно стоит исключить дубли и почти идентичные кадры из разных выборок. Если несколько кадров одного изделия или одной производственной последовательности сильно похожи и случайно распределены между обучающей и контрольной выборками, итоговая оценка модели может оказаться завышенной.

Если изображения связаны между собой — например, получены с одного изделия, одной партии или из последовательных кадров, — их лучше относить к одной выборке, а не распределять между обучением и тестом.

Не всегда. Часто эффективнее итерационный подход: разметка первой партии, обучение модели, поиск сложных или неуверенно классифицируемых моделью изображений, дополнительная разметка этих случаев и повторное обучение.

Такой подход, известный как active learning, помогает выбрать для ручной разметки наиболее информативные или сложные примеры , вместо равномерной обработки всего массива изображений подряд.

Прежде чем отдавать датасет на обучение, разметку стоит проверить.

По каждому изображению:

• правильный ли класс присвоен объекту;
• все ли дефекты на изображении размечены;
• нет ли лишних или дублирующихся объектов разметки;
• соответствует ли прямоугольная область правилам разметки и достаточно плотно охватывает дефект;
• соответствует ли маска реальному контуру дефекта.

По датасету в целом:

• достаточно ли примеров по каждому классу;
• есть ли изображения без дефектов;
• представлены ли разные условия съёмки;
• нет ли перекоса в сторону одного типа дефекта;
• не попали ли похожие кадры одновременно в обучающую и контрольную выборки;
• одинаково ли работают разные разметчики на одних и тех же случаях.

В промышленных проектах датасет обычно дорабатывают после первых обучений модели, анализируя её ошибки на валидационной выборке. Контрольную выборку при этом сохраняют для независимой финальной оценки.