Чтобы робот работал — он должен видеть. Машинное зрение — это способность системы воспринимать окружающий мир и принимать решения на основе полученных данных в реальном времени.
Мы исследуем и применяем все актуальные методы сенсорного восприятия:
Оптика — RGB-камеры для работы в условиях нормальной освещённости
Инфракрасный спектр — обнаружение объектов камерой по отраженному инфракрасному излучению
Тепловизор — работа в условиях слабой освещенности по тепловому излучению
Звук — акустическое обнаружение и классификация объектов
Лидар — трёхмерное картирование пространства лазерными импульсами
Радар — обнаружение объектов по отраженному сигналу в радиодиапазоне
Стереокамеры — определение расстояния до объекта на основании его смещения на изображениях с двух камер
Гиперспектральный диапазон — анализ объектов за пределами видимого спектра
Для каждой задачи мы подбираем оптимальную комбинацию сенсоров и обучаем нейросеть работать с их данными. Выбор метода восприятия определяется условиями среды, требованиями к точности и допустимой стоимостью решения.
Практический пример — НейроПВО. Система должна обнаруживать FPV-дроны днём, ночью, в тумане и на фоне растительности. После испытаний всех методов мы остановились на трёх: оптика, инфракрасное зрение и акустическое обнаружение. Каждый метод закрывает условия, в которых два других дают сбой.
Реальные условия эксплуатации непредсказуемы. Надёжная система восприятия строится на комбинации сенсоров с взаимным резервированием. Нейросеть получает данные из нескольких источников одновременно и принимает решение на основе их совокупности - так же, как это делает человек, используя зрение, слух и осязание одновременно.