Презентация на тему «Получение и фильтрация карт глубин»

Получение и фильтрация карт глубин

Дмитрий Ватолин Video Group CS MSU Graphics & Media Lab

Современный 3D-контент Карты глубин

Многокамерные системы – слишком дорогостоящий инструмент создания 3D Альтернатива – создание 3D-контента из 2D Основной шаг – вычисление пространственного представления сцены Для этого строятся карты глубины кадров

2

Содержание

Способы получения карт глубины Карты глубин (задание) Фильтрация карт глубины

3

Карты глубин Способы получения

Ручная разметка кадров

4

Исходный рисунок - http://retouchpro.com

Карты глубин Способы получения

Автоматические способы с использованием depth cues

5

CS MSU Graphics & Media Lab (Video Group)

Карты глубин Способы получения

Автоматические способы с использованием depth cues

6

CS MSU Graphics & Media Lab (Video Group)

Карты глубин Способы получения

Автоматические способы с использованием depth cues

7

CS MSU Graphics & Media Lab (Video Group)

Карты глубин Способы получения

Автоматические способы с использованием сенсоров глубины

8

http://userpage.fu-berlin.de/~latotzky/wheelchair/?p=58

Карты глубин Сенсоры глубины

Microsoft Kinect: Разрешение 640?480 Разрешение камеры глубины: 320?240 30 fps Планируемое обновление (Kinect 2.0): Разрешение 1920?1080 Разрешение камеры глубины: 512?424 30 fps

9

http://www.microsoft-careers.com/go/Kinect-for-Windows/308299/

Карты глубин Недостатки сенсоров глубины (1)

Отсутствие информации о глубине для некоторых точек Случайный шум Различие глубины для точек одного уровня Нестабильность во времени Сильный шум на границах объектов

10

Карты глубин Недостатки сенсоров глубины (2)

Цветное изображение

Карта глубины Информация о глубине для красных областей отсутствует

11

M. Camplani, L. Salgado, and G. de Imagenes, “Efficient spatio-temporal hole filling strategy for Kinect depth maps,” SPIE, 2012

Карты глубин Недостатки сенсоров глубины (3)

Улучшение качества карты глубины с сенсора: Качественная обработка областей перекрытия Фильтрация карты глубины во времени Существующие методы: Cross-Bilateral Filtering Weighted Mode Filtering Graph-Based Filtering

12

Содержание

Способы получения карт глубины Карты глубин (задание) Фильтрация карт глубины

13

ME: Блоки 4х4 4 модификации кадров

Исходный без изменений

14

CS MSU Graphics & Media Lab (Video Group)

ME: Блоки 4х4 4 модификации кадров

Сдвиг вправо на 4 пикселя

15

CS MSU Graphics & Media Lab (Video Group)

ME: Блоки 4х4 4 модификации кадров

Сдвиг вправо и вниз на 4 пикселя

16

CS MSU Graphics & Media Lab (Video Group)

ME: Блоки 4х4 4 модификации кадров

Сдвиг вниз на 4 пикселя

17

CS MSU Graphics & Media Lab (Video Group)

ME: Блоки 4х4

Запуск ME8х8 для каждой из модификаций кадров Запись полученных векторов для соответствующих блоков

18

ME: Блоки 4х4 Алгоритм

Левый верхний блок 4х4: MEFunction8x8(cur_frame, prev_frame, temp_vectors); for (each vector in temp_vectors) { MEVectors[i*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j]; }

19

ME: Блоки 4х4 Алгоритм

Правый верхний блок 4х4: 4PixelShiftHor(cur_frame, cur_shifted); 4PixelShiftHor(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); for (each vector in temp_vectors) { MEVectors[i*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; }

20

ME: Блоки 4х4 Алгоритм

Правый нижний блок 4х4: 4PixelShiftHorVert(cur_frame, cur_shifted); 4PixelShiftHorVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); for (each vector in temp_vectors) { MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; }

21

ME: Блоки 4х4 Алгоритм

Левый нижний блок 4х4: 4PixelShiftVert(cur_frame, cur_shifted); 4PixelShiftVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); for (each vector in temp_vectors) { MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j]; }

22

MEFunction8x8(cur_frame, prev_frame, temp_vectors); // without shift

for (each vector in temp_vectors) MEVectors[i*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j]; 4PixelShiftHor(cur_frame, cur_shifted); 4PixelShiftHor(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); // shift 4 pixels right for (each vector in temp_vectors) MEVectors[i*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; 4PixelShiftHorVert(cur_frame, cur_shifted); 4PixelShiftHorVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); // shift 4 pixels right-down for (each vector in temp_vectors) MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; 4PixelShiftVert(cur_frame, cur_shifted); 4PixelShiftVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); // shift 4 pixels down for (each vector in temp_vectors) MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j];

23

ME: Блоки 4х4 Результат

Depth 4x4 blocks full search (0.04 fps)

24

CS MSU Graphics & Media Lab (Video Group)

ME: Блоки 4х4 Результат

Original frame

25

CS MSU Graphics & Media Lab (Video Group)

ME: Упрощение шаблона

Ограничение на движение камеры – только горизонтальное параномирование Ограничиваем шаблон поиском по горизонтали

26

ME: Упрощение шаблона Результат

Depth 4x4 blocks simple template (1.55 fps)

27

CS MSU Graphics & Media Lab (Video Group)

ME: Упрощение шаблона Результат

Original frame

28

CS MSU Graphics & Media Lab (Video Group)

ME: Кандидаты

Ограничение на движение камеры – только горизонтальное параномирование Движение равномерное поступательное – использование соседних блоков в качестве кандидатов становится эффективней

29

ME: Кандидаты Результат

Depth 4x4 blocks candidates (2.71 fps)

30

CS MSU Graphics & Media Lab (Video Group)

ME: Кандидаты Результат

Original frame

31

CS MSU Graphics & Media Lab (Video Group)

Содержание

Способы получения карт глубины Карты глубин (задание) Фильтрация карт глубины

32

Карты глубин Фильтрация

Даже при ручной разметке кадров возникают неточности карты глубины: «Картонки» (отсутствие рельефа и объема) Неправильные границы Несогласованность глубины соседних кадров

33

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

Пространственная Введение в линейную фильтрацию

Применение линейного оператора свертки к изображению – замена пикселя взвешенным средним по окрестности Веса определяют ядро свертки – числовую матрицу

34

Пространственная Введение в линейную фильтрацию

f – изображение M*N, g – ядро K*L Свертка f с помощью g – изображение (f * g):

35

Пространственная Введение в линейную фильтрацию

Поведение на границе:

Черный фон

Зеркалирование

Дублирование

36

Пространственная Введение в линейную фильтрацию

Фильтр Гаусса: Веса в ядре рассчитываются из нормального распределения N(0, ?2) Параметры фильтрации – размер ядра d, дисперсия ?2 Эмпирически – d ~ 6?

37

Пространственная Билатеральная фильтрация

Билатеральная – два параметра для расчета весов Веса исходного фильтра Гаусса модифицируем с учетом цветовой разницы центрального пикселя и пикселя окрестности

38

Пространственная Билатеральная фильтрация глубины

D(x, y) – глубина точки (x, y) i(x, y) – цвет точки (x, y) ? – область ядра свертки ?s – параметр пространственного усреднения ?c – параметр цветового усреднения

39

Пространственная Билатеральная фильтрация глубины

for (each pixel in image) { sum = koef = 0; for (each neighbour_pixel in kernel window) { cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial) * gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color); sum += neighbour_pixel.value * cur_koef; koef += cur_koef; } new_pixel.value = sum / koef; }

40

Пространственная Билатеральная фильтрация: результат

Фильтрация карты глубины на основе исходного кадра

41

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

Пространственная Билатеральная фильтрация

Сглаживание глубины ровных по цвету областей Подчеркивание разницы на цветовых границах

42

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

Пространственная Результаты

Original

43

CS MSU Graphics & Media Lab (Video Group)

Пространственная Результаты

Filtered

44

CS MSU Graphics & Media Lab (Video Group)

Пространственная Результаты

Original

45

CS MSU Graphics & Media Lab (Video Group)

Пространственная Результаты

Filtered

46

CS MSU Graphics & Media Lab (Video Group)

Пространственная Результаты

47

CS MSU Graphics & Media Lab (Video Group)

Пространственная Результаты

Original

48

CS MSU Graphics & Media Lab (Video Group)

Пространственная Результаты

Filtered

49

CS MSU Graphics & Media Lab (Video Group)

Временная фильтрация Схема работы

Сглаживание изменения глубины во времени Нормализация, устранение «мерцания» Удаление «артефактов»

50

Временная фильтрация Spatio-Temporal Filtering

Пиксель определяется тремя координатами – (x, y, t) положение в пространстве и времени Рассматриваем окрестность по всем трем координатам, с учетом компенсации движения

51

Временная фильтрация Spatio-Temporal Filtering

for (each pixel in cur_frame) { sum = koef = 0; for (each neighbour_pixel in kernel window) { for (each neighbour_frame in temporal window) { cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial) * gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color) * gaus_weight(cur_frame.count, neighbour_frame.count, sigma_temporal); sum += neighbour_pixel.value * cur_koef; koef += cur_koef; } } new_pixel.value = sum / koef; }

52

Временная фильтрация Результаты

53

CS MSU Graphics & Media Lab (Video Group)

Временная фильтрация Сравнение

54

CS MSU Graphics & Media Lab (Video Group)

Временная фильтрация Сравнение

Original

55

CS MSU Graphics & Media Lab (Video Group)

Временная фильтрация Сравнение

Spatial

56

CS MSU Graphics & Media Lab (Video Group)

Временная фильтрация Сравнение

Spatio-temporal

57

CS MSU Graphics & Media Lab (Video Group)

Временная фильтрация Сравнение

Original

58

CS MSU Graphics & Media Lab (Video Group)

Конец лекции 4