Ключевым этапом проекта стала подготовка датасета для обучения моделей компьютерного зрения. Поскольку речь шла о новых деталях и уникальных производственных условиях, готовых данных не существовало — их приходилось собирать с нуля. Для этого мы разработали полуавтоматический процесс съемки деталей.
Фотосъемка с поворотного столаВ покрасочной камере установили поворотный стол, на который помещалась деталь. По сигналу от контроллера запускался цикл съемки: стол вращался на 360°, а камеры фиксировали каждый ракурс. Так обеспечивался полный обзор поверхности.
Синхронизация с оборудованиемМы интегрировали ML Sense с системой управления цеха. По кнопке оператор отмечал готовность к съемке — система переходила в режим фотофиксации и автоматически связывала каждое изображение с кодом детали и ее текущим состоянием.
Съемка различных состояний деталиДля каждой из трех базовых деталей снимались все производственные состояния:
- до нанесения грунта;
- после грунтовки;
- после первого слоя краски;
- в ремонтном состоянии.
Разметка и обучениеПосле съемки команда вручную перебирала изображения, уточняла разметку и обучала модель. Таким образом система училась различать как тип детали, так и состояние поверхности.
Отдельная нейросетевая модель для контроля человека Помимо деталей, требовалось обучить систему определять присутствие человека в кадре. Для этого мы собрали набор фотографий операторов и обучили отдельную модель, которая фиксирует человека в кадре.
В итоге был создан полноценный промышленный датасет, охватывающий все производственные сценарии. Этот подход позволил достичь точности распознавания в 99% и обеспечить надежную работу системы в реальных условиях.