Computer Vision · Собственная модель
ИИ-зрение для распознавания мебели на планировках
Самостоятельно обучил специализированную YOLOv8m-модель, которая находит мебель и элементы интерьера на архитектурных чертежах. Модель упакована в отдельный API и используется внутри платформы ILFIDI.
- 0,963
- mAP50 на валидации
- 25 классов
- мебель и элементы интерьера
- Полный цикл
- разметка, обучение, API и интеграция
Задача
Собрать сложный продукт и сделать его понятным
Универсальные vision-модели недостаточно точно различали условные обозначения на архитектурных планах. Для автоматической сборки 3D-сцены системе нужно понимать, где находятся кровати, диваны, шкафы, кухонные модули, сантехника и другие специализированные объекты.
Моя роль
Я подготовил разметку в LabelMe, написал конвертацию и нарезку больших чертежей на тайлы, обучил и сравнил модели, собрал инструменты проверки, упаковал инференс в FastAPI и Docker и подключил сервис к основной платформе.
Ключевое в проекте
Инженерная часть
Что пришлось решить под капотом
Датасет из больших чертежей
Исходные планы размечались вручную, переводились в формат YOLO и нарезались на перекрывающиеся тайлы. Так небольшие условные обозначения не терялись при уменьшении изображения.
Специализированные классы
Модель различает 25 типов объектов - от дивана и шкафа до кухонной плиты, раковины, стиральной машины и односпальной или двуспальной кровати.
Не эксперимент, а часть продукта
Веса модели загружаются отдельным FastAPI-сервисом. Основной backend ILFIDI вызывает его при обработке планировки и получает координаты объектов в структурированном виде.
Реализация
Что вошло в продукт
- Собственная разметка архитектурных планировок в LabelMe
- Конвертация аннотаций в формат YOLO
- Tile-пайплайн для обработки чертежей высокого разрешения
- Аугментации и обучение YOLOv8m в течение 100 эпох
- Сохранённые метрики precision, recall, mAP и confusion matrix
- Настольный интерфейс для проверки детекции и экспорта JSON
- FastAPI с отдельными методами детекции, preview и отладки
- Docker-упаковка и HTTP-интеграция с платформой ILFIDI
Результат
Специализированная модель с mAP50 0,963 стала рабочей частью продуктового пайплайна.
Модель мебели осталась в актуальной архитектуре ILFIDI. Для стен, дверей и окон я отдельно обучил вторую модель, сравнил качество и заменил её более устойчивой связкой Gemini Vision + OpenCV, сохранив собственный детектор там, где он показывает сильный результат.