Видео
<<  Аудиовидеозапись заседаний советов депутатов муниципальных образований и размещение видео на сайте муниципального образования Построение системы KPI трафика для крупного видео-портала  >>
Видео в системе управления марсоходом spirit-opportunity
Видео в системе управления марсоходом spirit-opportunity
Концепция системы управления: лучше один раз увидеть, чем сто раз
Концепция системы управления: лучше один раз увидеть, чем сто раз
Подсистема навигации
Подсистема навигации
Структура видеосистемы
Структура видеосистемы
Подсистема навигации
Подсистема навигации
Видеосистема марсохода
Видеосистема марсохода
Управление камерами
Управление камерами
Задача управления движением
Задача управления движением
Требуется доставить научное оборудование марсохода в точку,
Требуется доставить научное оборудование марсохода в точку,
Высокоуровневое управление
Высокоуровневое управление
На практике выбор оптимального маршрута требовал учета квази
На практике выбор оптимального маршрута требовал учета квази
Измерение расстояний
Измерение расстояний
Карта местности
Карта местности
Система управления движением реализована по трехуровневой схеме :
Система управления движением реализована по трехуровневой схеме :
Реализация перемещений
Реализация перемещений
Практическая реализация
Практическая реализация
Режимы управления перемещениями
Режимы управления перемещениями
Режимы управления перемещениями
Режимы управления перемещениями
Набор команд
Набор команд
Менеджер ограничения активности
Менеджер ограничения активности
Directed Driving
Directed Driving
Autonomous Navigation
Autonomous Navigation
Концепция Visual Odometry
Концепция Visual Odometry
Visual Odometry
Visual Odometry
Структура и принципы построения ПО
Структура и принципы построения ПО
Структура и принципы построения ПО
Структура и принципы построения ПО
Практический опыт
Практический опыт
Экспериментальные данные
Экспериментальные данные
Экспериментальные данные
Экспериментальные данные
Видео в канале maрc-земля
Видео в канале maрc-земля
Характеристики потока
Характеристики потока
Оценка информационных потоков
Оценка информационных потоков
Представление PAL
Представление PAL
Применение теории крупномасштабного анализа на практике обеспечивало
Применение теории крупномасштабного анализа на практике обеспечивало
Детали алгоритма ICER
Детали алгоритма ICER
Принципы сжатия видеоинформации
Принципы сжатия видеоинформации
Избыточность представления
Избыточность представления
F(x) =
F(x) =
Требования к базисным функциям
Требования к базисным функциям
Базис хаара
Базис хаара
Вейвлет-преобразование Хаара
Вейвлет-преобразование Хаара
Мeтод блока фильтров - I
Мeтод блока фильтров - I
Функции одномерного базиса ХААРА
Функции одномерного базиса ХААРА
Метод блока фильтров -II
Метод блока фильтров -II
Двумерный Базис Хаара
Двумерный Базис Хаара
Пример сжатия изображения
Пример сжатия изображения

Презентация: «Видео в системе управления марсоходом spirit-opportunity». Автор: . Файл: «Видео в системе управления марсоходом spirit-opportunity.ppt». Размер zip-архива: 1487 КБ.

Видео в системе управления марсоходом spirit-opportunity

содержание презентации «Видео в системе управления марсоходом spirit-opportunity.ppt»
СлайдТекст
1 Видео в системе управления марсоходом spirit-opportunity

Видео в системе управления марсоходом spirit-opportunity

Встроенные системы управления

А. Астапкович

Лекция 2

Государственный университет аэрокосмического приборостроения, СПб, 2012

2 Концепция системы управления: лучше один раз увидеть, чем сто раз

Концепция системы управления: лучше один раз увидеть, чем сто раз

услышать

3 Подсистема навигации

Подсистема навигации

Состав атмосферы Марса не позволяет построить системы измерения расстояний до препятствий с использованием ультразвука, обеспечивающих необходимую точность При разработке концепции было принято решение строить систему автономного перемещения на основе стерео видеоизображений

При этом возникло ограничение на максимально возможную скорость перемещения марсохода, связанное с производительностью бортового компьютера Задача измерения текущего положения робота критически важна для функционирования системы управления в целом

4 Структура видеосистемы

Структура видеосистемы

Оценка ситуации по пути следования использовалась с помощью стереоизображений получаемых с помощью выбранной пары камер. Марсоход имел для этого три типа камер: - две пары камер для отслеживания препятствий (HazCams) - пара поворотных камер для оценки ситуации на маршруте - пара поворотных камер панорамного обзора (PanCam).

Видеосистема включала в себя камеру высокого разрешения на манипуляторе робота, которая использовалась для получения детальных снимков геологических структур. Кроме того, на посадочной ступени имелась еще одна камера, которая использовалась при съезде марсохода на поверхность Марса.

5 Подсистема навигации

Подсистема навигации

Подсистема навигации по изображениям окружающей местности проводит анализ пути следования на предмет наличия препятствий и определения их параметров. Видеоданные использовались для построения карта возможных путей следования к заданной точке. По этой карте подсистема навигации выбирала оптимальный путь следования, обеспечивающий объезд препятствий. Движение по выбранному маршруту обеспечивалось системой управления движения с анализом текущего состояния марсохода на предмет соответствия критериям безопасности

6 Видеосистема марсохода

Видеосистема марсохода

Параметры камер марсохода

Параметры камер марсохода

Параметры камер марсохода

Параметры камер марсохода

Параметры камер марсохода

Параметр

Значение

Значение

Значение

Ед.

HazCAm

NavCam

PanCam

Количество камер

2

1

1

Пара камер

Высота

52

152

152

Расстояние между камерами

10

20

28

Угол зрения

125

45

18

Градус

Максимальный размер изображения

1024*1024

1024*1024

1024*1024

Пиксел

Бит на пиксел

12

12

12

Дистанция стереоизображения

0.5-5

2-20

4-70

М

Управление поворот-наклон

Нет

Есть

Есть

7 Управление камерами

Управление камерами

Система управления перемещениями марсохода и его манипультора строится на использовании видеоизображений. Перемещение по пересеченной местности сильно отличается от идеализированных моделей перемещения по идеально ровной поверхности из-за наличия склонов, неровностей и препятствий. Для решения задач навигации требуется обеспечить возможность управления камерами и решить ряд задач обработки изображений с учетом взаимного положения камер и марсохода.

Система координат камеры

Система координат робота

8 Задача управления движением

Задача управления движением

9 Требуется доставить научное оборудование марсохода в точку,

Требуется доставить научное оборудование марсохода в точку,

представляющую интерес, т.е. переместится из текущей точки А в заданную операторами наземного пульта управления точку В. Выбираемый маршрут следования должен быть безопасным. При этом следует минимизировать требуемые ресурсы, т.е. перемещение должно быть осуществлено за минимально возможное время.

Задача управления движением

10 Высокоуровневое управление

Высокоуровневое управление

Программа действий на текущие сутки формировалась как последовательность высокоуровневых команд , например : ПРОЕХАТЬ ВПЕРЕД НА 2.3 МЕТРА ПОВЕРНУТЬСЯ НА МЕСТЕ ВПРАВО НА 0.367 рад. ПЕРЕМЕСТИТСЯ В ТОЧКУ (X,Y) СНЯТЬ ЦВЕТНУЮ ФОТО МЕСТНОСТИ В ТОЧКЕ X,Y,Z

11 На практике выбор оптимального маршрута требовал учета квази

На практике выбор оптимального маршрута требовал учета квази

оптимального решения, обеспечивающего наличия марсохода в конечной точке маршрута. Требовалось обеспечить условия для применения научной аппаратуры к выбранному объекту исследований.

Выбор маршрута следования

Требовалось обеспечить: минимально необходимый уровень освещенности панелей солнечных батарей. возможность комфортного использования манипулятора .

12 Измерение расстояний

Измерение расстояний

При движении робота следует учитывать движение камеры относительно объекта наблюдения и влияние перемещения робота на навигационные камеры

13 Карта местности

Карта местности

Для выбора маршрута следования требуется построение трехмерной карты

14 Система управления движением реализована по трехуровневой схеме :

Система управления движением реализована по трехуровневой схеме :

уровень низкоуровневых команд; уровень движения по дуге с заданными параметрами; уровень автономного движения в заданную точку. Низкоуровневые команды обеспечивают возможность оператору задать точно на сколько следует повернуть каждое колесо и угол поворота егооси. Уровень низкоуровневых команд обеспечивает возможность реализации операций тестирования и нестандартных операций.

Управление движением

15 Реализация перемещений

Реализация перемещений

Движение по дуге является базовым примитивом, из которого формируются все возможные типы перемещений. Движение по прямой или поворот на месте являются частным случаем движения по дуге. Маршрут движения к заданной точке конструировался из дуг, обходящих препятствия. Текущее положение робота оценивалось с помощью инерционной системы навигации Litton LN-200, включавшей в себя 3-D асселерометры и датчики угловых скоростей, а также датчики оборотов колес. На основании этой информации и реализуемой траектории движения вырабатывались команды управления моторами. Эта же информация использовалась в подсистеме обеспечения безопасности движения.

16 Практическая реализация

Практическая реализация

17 Режимы управления перемещениями

Режимы управления перемещениями

18 Режимы управления перемещениями

Режимы управления перемещениями

Режим программного управления перемещениями - Directed Driving. Режим автономного навигации -Autonomous Navigation -AutoNav. При реализации того или иного варианта режима автономной навигации использовался менеджер ограничения активности – Activity Constraint Manager . Базовая функция этого компонента сохранение функциональности марсохода , т.е. проверка противопоказаний к выполнению планируемых операций.

19 Набор команд

Набор команд

Перемещение без использования автономного анализа на наличие препятствий. Перемещения с построением карты проходимости маршрута , но без использования подсистемы объезда препятствий. Автономное перемещение с анализом наличия препятствий и использованием подсистемы объезда. Автономное перемещение с использованием подсистемы визуальной одометрии.

20 Менеджер ограничения активности

Менеджер ограничения активности

Подсистема проверяет отсутствие противопоказаний к выполнению планируемых операций. К ограничениям этого класса относились: походное положение манипулятора, отсутствие принятых команд, отсутствие ошибок при выполнении предыдущих операций и т.д. Следует подчеркнуть, что при отработке алгоритмов управления движением на Земле не могли быть смоделированы в полном объеме марсианские условия. Соответственно, отработка техники управления велась на протяжении всей миссии.

21 Directed Driving

Directed Driving

Перемещение по заданной траектории без использования своих возможностей анализа видеоизображения окружающей местности или адаптации способа перемещения к ее особенностям. В этом режиме обеспечивалась максимальная скорость перемещения – до 124 м/час. Этот режим использовали на относительно плоских и чистых участках, полагаясь на подсистему обеспечения безопасности перемещения. Критерием возможности использования этого режима на пути следования являлось отсутствие на траектории движения препятствий с высотой больше чем 20 см Анализ ситуации проводился на Земле, куда передавались изображения с каждой из пар камер. Как правило, для анализа ситуации требовалось от 8 до 12 стереоизображений в направлении движения марсохода.

22 Autonomous Navigation

Autonomous Navigation

Для более сложных участков, например при перемещении по склонам кратеров или холмов с уклонами 15-30 градусов, по команде оператора осуществлялся переход в режим автономного навигации В этом режиме марсоход мог самостоятельно выбирать путь следования к указанной точке. В результате анализа генерировалась программа действий в виде конкретного набора примитивов, обеспечивающих объезд препятствий. Максимальная скорость перемещения в этом режиме составляла 36 м/час. Реализация сгенерированной программы движения могла выполняться с использованием разных подсистем обеспечения автономного движения. При движении по неровным и песчаным участкам подсистема счисления пути на основе показаний датчиков числа оборотов не обеспечивала объективной информации.

23 Концепция Visual Odometry

Концепция Visual Odometry

Знание пройденного пути L от точки А до точки В и углов ?1 и ?2 позволяет оценить минимальное расстояние до препятствия P с помощью даже одной камеры Необходимо учитывать влияние сложного рельефа местности на точность оценки

Можно также оценивать пройденный путь L используя результаты измерений D1 и D2 ;

24 Visual Odometry

Visual Odometry

В этих случаях эта подсистема счисления пути начинала использовать видеоинформацию. Идея алгоритма заключалась в выделении в поле зрения марсохода базового объекта и вычислении смещения относительно его. Так как обработка снимков осуществляется бортовым компьютером с очень скромными по сегодняшним меркам параметрами, то скорость перемещения, по сути дела, ограничивалась этой подсистемой и составляла 10 м/час. По опыту эксплуатации этот подход к построению подсистемы великолепно себя зарекомендовал. Ограничения на скорость перемещения являются недостатками аппаратной реализации этой подсистемы.

25 Структура и принципы построения ПО

Структура и принципы построения ПО

Структура ПО строились на основе аналогичного и проверенного на практике программного обеспечения для марсохода Mars Pathfinder. Была использована коммерческая операционная система VxWorks компании Wind River. Это система с вытесняющей многозадачностью (preemptive multitasking), которая широко используется в авиакосмической отрасли. Программное обеспечение системы управления марсохода требует 9 Мбайт памяти, из которых 1.4 Мбайта занимает модуль управления перемещениями.

26 Структура и принципы построения ПО

Структура и принципы построения ПО

Программное обеспечение делится на высокоуровневые объекты. Все электронные устройства марсохода представляютсяь в виде таких объектов. Кроме этого имеются чисто программные объекты для предоставления сервисов. Например, записи телеметрических измерений или сохранения текущего состояния объекта. Каждому программному объекту соответствует нить или задача. Каждый объект имеет собственный массив переменных описания состояния и собственную память, которая принадлежит только ему. Объекты обмениваются информацию посредством сообщений. При этом вся информация содержится в сообщении, т.е. не используются указатели на память задачи. Объекты включают в себя описание в виде машины состояний. Сообщения, получаемые из других задач, могут приводить к изменению состояния объекта.

27 Практический опыт

Практический опыт

28 Экспериментальные данные

Экспериментальные данные

Использование того или иного режима определялись конкретными условиями на маршруте следования

29 Экспериментальные данные

Экспериментальные данные

30 Видео в канале maрc-земля

Видео в канале maрc-земля

31 Характеристики потока

Характеристики потока

Видеоинформация существенным образом использовалась в наземном пункте управления как при планировании исследований ( выбор перспективных для исследования объекта), так и в качестве фактического материала результатов проводимых исследований Видеосистема включала в себя камеру высокого разрешения на манипуляторе робота, которая использовалась для получения детальных снимков геологических структур Видеоинформация существенно больше по объему по сравнению с командной и телеметрической информацией, но она обладает избыточность, что позволяет использовать ее сжатия с целью обеспечения разумного времен на ее передачу в наземный центр управления.

32 Оценка информационных потоков

Оценка информационных потоков

Стандарт CCIR 601 (NTSC , несжатые видеоданные) Разрешение 720*486*29.97 FPS (кадров в секунду) Представление данных 8 бит на элемент представляемых данных Представление пикселя 4:2:2 (на каждые два горизонтально расположенных пикселя 2 Y : 1 Cr : 1 Cb) Количество кадров в секунду 29.97 Оценка информационных потоков Яркость (Y) 720*486*29.97 FPS = 10 486 102.4 байт в секунду Цветность R (Cr) 360*486*29.97 FPS = 5 243 551.2 байт в секунду * 8 бит на байт = 41 948 409. 6 бит в секунду Цветность B (Cb) 360*486*29.97 FPS = 5 243 551.2 байт в секунду * 8 бит на байт = 41 948 409. 6 бит в секунду Сумма 20 974 204.8 байт в секунду = 167 793 638.4 бит в секунду Трафик CCIR601 (NTSC) : около 20 Мбайт/сек или 160.02 Мбит/сек.

33 Представление PAL

Представление PAL

Способ представления видеоданных PAL, также входит в стандарт CCIR 601; Использует передачу 25 кадров в секунду с 576 горизонтальными линиями; Каждая горизонтальная линия представляется 720 пикселями (Y), плюс 360 пикселов( R-Y), плюс 360 пикселов (B-Y) , что дает 1440 байт на линию; Для представления одного «экрана» ( frame) требуется 1.186 Мбайт; 25 кадров в секунду требует обеспечивать информационный поток 29.663 Мбайта/сек;

34 Применение теории крупномасштабного анализа на практике обеспечивало

Применение теории крупномасштабного анализа на практике обеспечивало

возможность проведения анализ сцен до получения всего изображения и использовать изображения нужного качества в зависимости от решаемой задачи. Фактически использовалась комбинированная схема с управляемой степенью сжатия. Для реализации сжатия был использован оригинальный алгоритм c пространным названием ICER Progressive Wavelet Image Compression, разработанный сотрудниками JPL. Считается, что это первый случай использования вейвлет преобразований в космической технике. Использованный алгоритм имел много общего JPEG2000, в частности, использовался метод битовых плоскостей.

Алгоритм ICER

35 Детали алгоритма ICER

Детали алгоритма ICER

A. Kiely, A. Ansar, A. Castano, M. Klimesh, J. Maki A Lossy Image Compression and Stereo Ranging Quality from Mars Rovers IPN Progress Report 42-168 February 15, 2007 Kiely A., Klimesh M. The ICER Progressive Wavelet Image Compressor IPN Progress Report 42(155), November 15, 2003 A. Kiely, M. Klimesh, H. Xie, N. Aranki ICER-3D: A Progressive Wavelet-Based Compressor for Hyperspectral Images IPN Progress Report 42-164 February 15, 2006

36 Принципы сжатия видеоинформации

Принципы сжатия видеоинформации

37 Избыточность представления

Избыточность представления

a) ИСХОДНАЯ КАРТИНКА б) СЖАТИЕ 6: 1 в) СЖАТИЕ 42: 1 г) СЖАТИЕ 222: 1

38 F(x) =

F(x) =

сi ?i (x) i = 0..N

Сжатие без потерь подразумевает фильтрацию избыточной информации Сжатие с потерями подразумевает отбрасывание малосущественной информации Идея сжатия информации выражается формулой

Принципы сжатия

Реализация включает в три этапа:

Разложение f(x) по системе заданных базисных функций ?i (x)

Обработка и передача коэффициентов Сi

ВОССТАНОВЛЕНИЕ функции f(x) по полученным (считанным) значениям Сi и базисных функций ?i (x)

39 Требования к базисным функциям

Требования к базисным функциям

Разложение и восстановление требует определенных вычислительных затрат, которые сильно зависят от свойств выбранных базисных функций Требования, предъявляемые к системе базисных функций ?i достаточно противоречивы Для приложений реального времени (живое видео) существенным является возможность нахождения коэффициентов Сi в темпе поступления исходной информации с учетом реальных ограничений по скорости используемых в системе вычислителей

С вычислительной точки зрения предпочтительнее разложение в ортогональном базисе

40 Базис хаара

Базис хаара

41 Вейвлет-преобразование Хаара

Вейвлет-преобразование Хаара

Рассмотрим одномерное изображение из 4 пикселов F(N) = [ 9 7 3 9] Средние Разности Попарное усреднение даст [ 8 6 ] [1 -3] Еще раз усредним [7] [1] Вейвлет-преобразование Хаара [7 1 1 -3] массива F(N)

Вейвлет ХААРА 1 0 ? x ? ? ?(x) = -1 ? ? x ? 1 0

W0

V1

V2

Базис ХААРА ? j i(x) = ? (2j x - i) i= 0..2 j -1

42 Мeтод блока фильтров - I

Мeтод блока фильтров - I

Тестовое 16 пиксельное БЛОК ФИЛЬТРОВ изображение описывается матрицей

Вейвлет преобразование сoef = f16* test16

43 Функции одномерного базиса ХААРА

Функции одномерного базиса ХААРА

Пусть одномерное изображение с числом пикселей 2J есть вектор в VJ; Вектора из VJ описываются в VJ+1, т.е. пространства VJ являются вложенными; Это свойство ключевой элемент теории крупномасштабного анализа;

Следует отмасштабировать 15 к 1 !

44 Метод блока фильтров -II

Метод блока фильтров -II

Вoccтановление : res = f16 -1 сoef

45 Двумерный Базис Хаара

Двумерный Базис Хаара

LL,HL,LH,HH haar компоненты

46 Пример сжатия изображения

Пример сжатия изображения

a) ИСХОДНАЯ КАРТИНКА б) СЖАТИЕ 6: 1 в) СЖАТИЕ 42: 1 г) СЖАТИЕ 222: 1

«Видео в системе управления марсоходом spirit-opportunity»
http://900igr.net/prezentacija/informatika/video-v-sisteme-upravlenija-marsokhodom-spirit-opportunity-163184.html
cсылка на страницу
Урок

Информатика

130 тем
Слайды
900igr.net > Презентации по информатике > Видео > Видео в системе управления марсоходом spirit-opportunity