Как создать датасет для дефекта или редкого объекта, который почти не встречается в реальности

Система машинного зрения обучается на примерах. Если на производстве нужно определять брак, который случается раз в месяц или раз в год, а не каждый день, стандартная схема сбора данных перестает работать.

Обычный путь разработки выглядит так. На линии ставят камеры, копят фотографии с браком и без брака, размечают, обучают нейросеть, проверяют результат. Для большинства задач контроля качества такой цикл занимает недели или месяцы.

Проблема начинается там, где дефект встречается редко. Пример из практики Nord Clan - проект по обнаружению инородных тел на горно-обогатительной комбинате. Задача системы машинного зрения - выявить зуб экскаватора, бревно или кусок металла среди тонн породы. В реальности такие объекты попадают на ленту крайне нечасто.

Если просто ждать, пока накопится достаточно кадров с посторонними предметами, счет пойдет на годы. Проект в таком виде реализовать невозможно.

Вместо ожидания реальных случаев команда Nord Clan строит физическую копию производственного участка в собственной лаборатории.

Для проекта с инородными телами этапы были такими:

Каждый предмет фотографировали в разных положениях. Зуб экскаватора снимали частично на поверхности, присыпанным рудой с одной стороны, с другой, полностью скрытым. Такой подход дает десятки вариантов на один физический объект.

Отдельно предметы снимали на зеленом фоне, как в видеопроизводстве. Это дало чистые изображения объектов без привязки к конкретной сцене.

Готовые снимки обрабатывает алгоритм композиции. Он берет реальный кадр с конвейера, приподнимает часть руды и вставляет на освободившееся место объект, снятый на хромакее. Затем алгоритм присыпает объект рудой, чтобы граница между вставкой и фоном не была заметна. Так получается реалистичный кадр с дефектом, которого не было в действительности, но который визуально неотличим от настоящей съемки с конвейера.

Этот метод пополнил датасет реальными кадрами конвейера с вставленными инородными телами. Такой метод синтетической композиции дает столько примеров, сколько нужно для обучения модели.

Для увеличения разнообразия команда дополнительно использовала 3D-модели объектов и генеративные нейросети. Они позволяют менять текстуру поверхности - например, показать один и тот же зуб экскаватора более ржавым или менее ржавым, с разной степенью загрязнения.

Такой прием увеличивает количество уникальных примеров без дополнительной физической съемки.

Комбинация четырех источников данных - реальная физическая съемка, съемка с хромакеем, алгоритм совмещения и генерация текстур - дала около 50 000 изображений редких объектов.

Собрать такой объем данных естественным путем, просто снимая реальный конвейер, потребовало бы пять-десять лет наблюдений. В лаборатории Nord Clan на это ушло около двух месяцев.

Метод воссоздания сцены оправдан в задачах, где выполняется хотя бы одно из условий:

Если задача попадает под эти условия, готовый датасет можно получить за недели, а не за годы наблюдений на реальной линии.

Если у вас есть похожая задача - редкий дефект, который сложно поймать в естественных условиях, - опишите ее нашей команде. Мы определим, как воссоздать нужные данные в лаборатории, и покажем, какая точность распознавания достижима.