Обзор
UMI (User Manipulating Interface) - рабочее место для сбора данных: видео с камер, IMU, показания датчиков. Собранные датасеты уходят в пайплайн обучения в Нирване (внутренняя ML-среда Яндекса), откуда выходят модели для робота Picker.
Зачем
Без нормальных данных пикер не обучишь. Нужен единый инструмент, где оператор снимает эпизоды, синхронизирует потоки видео+IMU+сенсоры и отправляет датасет в обучение. Иначе каждый круг «сняли данные -> обучили -> проверили» растягивается на недели.
Эффект
Дешевле и быстрее итерации: меньше ручной возни с логами, быстрее отладка датасетов, раньше видно, что модель ведёт себя плохо на реальном стенде. Без этого Picker растёт медленно, каждая новая версия модели стоит команде лишнего времени.
Моя роль
Сбор и передача датасетов (видео + IMU + датчики), пайплайн обучения в Нирване и стыковка embedded-стека с циклом «сняли -> обучили -> проверили на роботе».