AG
Все записи

Нейронные сети меняют мир embedded-разработки

2 min read
Embeddedнейросетиразработка

От классических пайплайнов обработки данных тренды ведут нас к End-to-End архитектуре. Казалось бы, что может быть проще? Не нужны знания дискретной математики, сложных методик управления. Возьми и натренируй нейронную сеть - нужно, конечно, подготовить датасеты и взять в датацентре множество вычислителей. Это всё очень понятный и масштабируемый процесс. А специалистов по системам управления где искать? Сколько им нужно платить?

У каждого подхода есть свои плюсы и минусы.

Улучшения:

  • Переход к End-to-End упрощает интеграцию мультимодальных данных. RL и MPPI позволяют роботам строить маршруты в реальном времени с учетом динамических препятствий. VLM анализируют сцены и генерируют текстовые описания.
  • End-to-End подходы сокращают время разработки, если налажен процесс сбора данных и обучения.

Проблемы:

  • Работа RL в реальном времени, породившая множество подходов: HER, DDPG, PPO.
  • Затраты на поддержку таких проектов получаются гораздо выше традиционного подхода.
  • Проблема несогласованности сенсоров.
  • Проблема ошибок в неопределенных условиях - стратегии «Safe RL» и «Uncertainty Estimation» (Monte Carlo Dropout, Bayesian Neural Nets).
  • Все равно требуется hybrid safety layer.
  • Соответствие End-to-End систем требованиям ISO 26262, IEC 61508.
  • Низкий ROI при внедрении End-to-End решений в конкретных индустриальных сценариях (логистика, производство, сервис).

Со временем в области embedded многое изменилось, но старые методы всё ещё используются. Теперь данные готовятся внутри специальных модулей, а в обработку отправляются уже подготовленные.

Пример: Realsense D405. Это устройство, которое хорошо интегрировано и само готовит карты глубины внутри себя. Мы упростили себе задачу, не думая о сложных вещах, связанных со стереозрением, и просто подобрали подходящее устройство для нашего проекта.