21 августа 2023

Машинное зрение (computer vision) - это область искусственного интеллекта, которая изучает методы получения, обработки, анализа и понимания изображений и видеопотоков с помощью компьютерных алгоритмов. Системы машинного зрения позволяют БПЛА ориентироваться в пространстве, распознавать объекты, осуществлять посадку и многое другое.

Машинное зрение включает в себя следующие основные компоненты:

- Сенсоры получения изображений (камеры, сканеры, датчики глубины и др.)

- Аппаратное обеспечение для захвата и предварительной обработки данных (кадровые грабберы, процессоры обработки изображений)

- Программные алгоритмы обработки изображений (выделение контуров, сегментация, распознавание и др.)

- Методы компьютерного зрения для анализа сцен и распознавания объектов (классификаторы, нейросети и др.)

- Программное обеспечение и библиотеки компьютерного зрения (OpenCV, SimpleCV и др.)

- Математическое и алгоритмическое обеспечение (математическая статистика, геометрические преобразования, нейронные сети и др.)

Таким образом, машинное зрение - это междисциплинарная область, включающая аппаратные и программные средства для получения, обработки и анализа визуальных данных.

В беспилотных летательных аппаратах (БПЛА) для реализации функций машинного зрения обычно используются следующие компоненты:

- Видеокамеры - для получения видеопотока в видимом или инфракрасном диапазоне. Используются обычные или специализированные камеры.

- Микроконтроллер - выполняет предварительную обработку изображений, выделение признаков, распознавание образов.

- Процессоры обработки изображений - специализированные процессоры для ускорения алгоритмов компьютерного зрения.

- Бортовой компьютер - для реализации сложных алгоритмов компьютерного зрения на базе нейросетей или традиционных методов.

- ПО компьютерного зрения - библиотеки OpenCV, PX4, ArduPilot и др.

- Датчики (GPS, IMU, лидары, датчики высоты и др.) - дополнительные данные для систем компьютерного зрения.

- Связь и телеметрия - для передачи видеопотока и данных на наземный центр управления.

В БПЛА так же, для реализации функций машинного зрения помимо видеокамер могут использоваться следующие датчики:

- GPS - определение местоположения БПЛА, синхронизация с видеопотоком.

- IMU (инерциальный измерительный блок) - измерение ускорения и ориентации, помогает определить положение камеры.

- Высотомер - измерение текущей высоты полёта над поверхностью.

- Лидар - (лидар, лазерный радар) для построения 3D модели окружающего пространства, обнаружения препятствий. Это устройства, использующие лазер для построения трехмерной модели окружающего пространства и обнаружения объектов. Применительно к БПЛА лидары используются для следующих целей:

- Построение карты местности - лидар создает подробную 3D-модель рельефа, растительности, объектов, которая используется для навигации БПЛА.

- Обнаружение и облет препятствий - лидар позволяет в режиме реального времени выявлять препятствия и корректировать траекторию полета для их обхода.

- Оценка расстояния до поверхности - данные лидара используются в алгоритмах посадки БПЛА для точного расчета высоты.

- Инспекция объектов - с помощью лидара можно производить подробное 3D-сканирование различных объектов и конструкций.

- Навигация в условиях плохой видимости - в отличие от камер, лидары могут работать в пыли, тумане, при плохом освещении.

Наиболее распространены лазерные лидары, реже используются радарные.

Лидар (от английского "Light Detection and Ranging") - это система дистанционного зондирования, которая использует лазерный свет для измерения расстояний и создания точных трехмерных карт окружающей среды. Принцип работы лидара основан на эффекте отражения лазерного излучения от объектов и измерении времени, требующегося для возвращения отраженного сигнала. Вот основные принципы устройства лидаров:

1.Источник света: Лидар оснащен лазером, который излучает короткие и интенсивные импульсы лазерного света в видимом или инфракрасном спектре. В зависимости от приложения могут использоваться разные типы лазеров, такие как диодные лазеры, Nd:YAG лазеры и т.д.

2. Отправка лазерного излучения: Лазерное излучение направляется в определенном направлении к объектам, которые необходимо измерить или сканировать.

3. Приемник: Лидар также включает в себя приемный прибор (фотодетектор), который регистрирует отраженные лазерные сигналы.

4. Измерение времени полета: Когда лазерный луч попадает на объект, он отражается от него и возвращается обратно к приемнику. Лидар измеряет время, которое требуется для этого кругового путешествия лазерного излучения.

5. Вычисление расстояния: Расстояние до объекта рассчитывается путем умножения времени полета на скорость света и деления на два, так как лазерное излучение должно пройти путь до объекта и обратно. Формула: Расстояние = (Время полета x Скорость света) / 2.

6. Сканирование: Для создания трехмерной карты окружающей среды лидар сканирует окружающую среду, измеряя расстояние до объектов в разных направлениях. Это может быть достигнуто путем поворота лазерного излучения или зеркала, или с помощью нескольких лазеров и приемников.

7. Обработка данных: Измеренные расстояния и углы сканирования обрабатываются компьютером, чтобы создать точную трехмерную карту объектов и поверхностей.

Лидары широко используются в автономных автомобилях, беспилотных летательных аппаратах, геодезии, геологии, лесном хозяйстве, археологии, метеорологии и других областях, где требуется точное измерение расстояний и создание трехмерных моделей окружающей среды.

Датчик давления - для определения высоты.

Магнитометр - измерение ориентации относительно магнитного поля Земли.

Датчик оптического потока - оценка смещения БПЛА относительно земли.

Тепловизор - регистрация инфракрасного излучения, поиск объектов.

Стереокамеры - получение объёмной модели пространства.

ToF камеры (time-of-flight) - камеры времени пролёта, создают 3D изображение сцены. Это устройства, позволяющие получать трехмерные изображения за счет измерения времени полета отраженного от объектов светового импульса.

Принцип работы ToF камер:

- Камера имеет источник света (лазер или светодиод), который генерирует короткие световые импульсы.

- Этот свет отражается от объектов и возвращается обратно в камеру.

- Датчик камеры измеряет время между выходом импульса и возвращением отраженного сигнала.

- По этому времени рассчитывается расстояние до объекта.

- Так как измерения проводятся для каждого пикселя, формируется трехмерное изображение сцены.

- ToF камеры работают на расстояниях от нескольких сантиметров до нескольких десятков метров.

- Используются в робототехнике, системах безопасности, 3D-сканировании и других областях.

Преимущества ToF камер - компактность, высокая скорость получения 3D-изображений, работа при любом освещении. Недостаток - невысокое разрешение по сравнению с другими 3D-технологиями.

Для определения скорости полета беспилотных летательных аппаратов (БПЛА) могут использоваться следующие бортовые датчики:

- Датчики обтекания или датчики динамического давления - измеряют давление набегающего потока воздуха. По величине динамического давления рассчитывается скорость.

- GPS/ГЛОНАСС приемники - на основании данных о местоположении БПЛА в разные моменты времени вычисляется вектор скорости.

- Бортовые доплеровские радары - путем излучения и приема радиоволн определяют приближение/удаление земной поверхности и рассчитывают скорость.

- Датчики оборотов винта - скорость вращения винта пересчитывается в linейную скорость полета.

- Видеодатчики скорости - определяют смещение земной поверхности на последовательных кадрах видео и вычисляют скорость.

- Лидары - по смещению 3D модели местности оценивают вектор скорости БПЛА.

- Бортовые радиовысотомеры - также могут использовать эффект Доплера для оценки скорости.

На практике для повышения точности данные с разных датчиков комбинируются с использованием систем слияния данных.

Данные с этих датчиков совместно обрабатываются для повышения эффективности алгоритмов машинного зрения.