Графическая информация
<<  Проектирование винтовых лестниц с помощью графического метода Применение суперкомпьютеров для обработки потоков аэрокосмических изображений  >>
Поиск визуально подобных изображений на основе машинного обучения
Поиск визуально подобных изображений на основе машинного обучения
Цифровые источники
Цифровые источники
Виды поиска изображений
Виды поиска изображений
Пример поиска
Пример поиска
Аномалии поиска
Аномалии поиска
Цель работы
Цель работы
Примеры пар с разной степенью визуального подобия
Примеры пар с разной степенью визуального подобия
Поиск изображений по визуальному образцу как научная проблема
Поиск изображений по визуальному образцу как научная проблема
Выбор ключевых признаков
Выбор ключевых признаков
Необходимость выбора ключевых признаков
Необходимость выбора ключевых признаков
Анализ значений признаков
Анализ значений признаков
Критерий выбора ключевых признаков
Критерий выбора ключевых признаков
Отбор ключевых признаков
Отбор ключевых признаков
Применение нейронных сетей для оценки тематической близости
Применение нейронных сетей для оценки тематической близости
Структура нейронной сети
Структура нейронной сети
Обучение нейронной сети
Обучение нейронной сети
Критерий оптимизации
Критерий оптимизации
Основные особенности сети и машинного обучения
Основные особенности сети и машинного обучения
Методика исследований
Методика исследований
Этапы исследований
Этапы исследований
Результаты исследований и перспективы развития
Результаты исследований и перспективы развития
Признаки
Признаки
Главные признаки
Главные признаки
Тестовая коллекция
Тестовая коллекция
Примеры изображений коллекции
Примеры изображений коллекции
Axioma
Axioma
График полнота-точность
График полнота-точность
Результаты тестирования
Результаты тестирования
Выводы
Выводы
Выводы
Выводы
Перспективы
Перспективы
Спасибо за внимание
Спасибо за внимание

Презентация: «Поиск визуально подобных изображений на основе машинного обучения». Автор: Руслан. Файл: «Поиск визуально подобных изображений на основе машинного обучения.pptx». Размер zip-архива: 6455 КБ.

Поиск визуально подобных изображений на основе машинного обучения

содержание презентации «Поиск визуально подобных изображений на основе машинного обучения.pptx»
СлайдТекст
1 Поиск визуально подобных изображений на основе машинного обучения

Поиск визуально подобных изображений на основе машинного обучения

Алексей Дмитриевич Варламов Руслан Владимирович Шарапов Владимирский государственный университет

RCDL’2012 Переславль-Залесский, 17 октября 2012 г.

2 Цифровые источники

Цифровые источники

3 Виды поиска изображений

Виды поиска изображений

Существует несколько направлений поиска по изображениям: поиск по описаниям (найти изображение, помеченное как «Совершенно секретно» или «Москва»), поиск по содержанию (найти фотографию человека или изображение, к примеру, берёзы), поиск по визуальному образцу (найти изображения, похожие на заданное) и т.д.

4 Пример поиска

Пример поиска

5 Аномалии поиска

Аномалии поиска

6 Цель работы

Цель работы

Цель работы: рассмотрение вопросов построения системы поиска по визуальному образцу в относительно больших (десятки тысяч) коллекциях изображений. Рассматриваемые вопросы: - Выявление ключевых признаков изображений для поисковых задач, - Применение нейронных сетей для реализации машинного обучения оценке тематической близости изображений, - Результаты исследований и перспективы развития.

7 Примеры пар с разной степенью визуального подобия

Примеры пар с разной степенью визуального подобия

Изображения, не обладающие визуальным подобием

Изображения, обладающие визуальным подобием

Изображения, обладающие частичным визуальным подобием

8 Поиск изображений по визуальному образцу как научная проблема

Поиск изображений по визуальному образцу как научная проблема

Поиск изображений по визуальному образцу сводится к решению задачи определения степени визуального подобия двух произвольных изображений или отнесению пары картинок к одному из двух классов: подобные или не подобные между собой. С этой точки зрения данную проблему можно рассматривать как задачу из теории распознавания образов, где каждый образ (пара изображений) необходимо представить набором существенных признаков.

Однако, в реальных информационно-поисковых системах при индексации анализируются не пары, а отдельные изображения. Поэтому признаки пар должны быть основаны на признаках отдельных изображений, которым посвящена следующая часть.

Пара изображений

Признаки пары

Близость изображений в паре

9 Выбор ключевых признаков

Выбор ключевых признаков

Докладчик: Варламов А.Д.

10 Необходимость выбора ключевых признаков

Необходимость выбора ключевых признаков

Можно использовать очень большое число признаков для анализа пар изображений на визуальное подобие, но такая численность является крайне нежелательной. Во-первых, время работы результирующего алгоритма напрямую зависит от количества признаков, так как в данном случае велико количество величин, которые требуется рассчитать. Во-вторых, большее число признаков усложняет архитектуру нейронной сети, что приводит к увеличению требований к ресурсам, задействованным в процессе машинного обучения, и времени самого обучения. В третьих, существует избыточность признаков из-за их взаимной корреляции и потенциальное наличие признаков, которые могут не влиять не результат. Такую избыточность желательно устранить.

11 Анализ значений признаков

Анализ значений признаков

Многие признаки коррелированны между собой. Это видно на диаграммах рассеяния.

Признаки: средняя яркость и медиана (k = 0,87)

Признаки: наличие симметрии и медиана (k = 0,26)

Кроме того, различные признаки имеют разную степень корреляции с целью. Также признаки различаются по трудоемкости алгоритмов их вычисления. Все эти факторы необходимо учесть при их отборе!

Признаки: средние значения красной и зеленой составляющих (k = 0,79)

12 Критерий выбора ключевых признаков

Критерий выбора ключевых признаков

Таким образом, необходимо сокращение числа признаков, но проводимое не вслепую в ущерб качества результата, а с обеспечением наибольшего снижение трудоемкости их вычисления при наименьшей потери точности результата обучения. В основе метода сокращения количества признаков можно использовать различные методы понижения размерности данных, например факторный анализ, feature selection и другие. Мы предлагаем в качестве критерия отбора признаков использовать величину:

Где x – значимость признака, определенная методом сокращения размерности данных, t – время вычисления признака, ca – корреляция значения признака с целью, j – номер признака.

13 Отбор ключевых признаков

Отбор ключевых признаков

Отбор предлагается выполнять классическим способом анализа графика каменистой осыпи, в которой значимость признаков определена по предложенному авторами критерию.

Ключевые признаки в дальнейшем используются: - для обучения нейронной сети оценки близости изображений. - (при приемлемых результатах) при индексации изображений для формирования их поисковых образов (сигнатур) в информационно поисковой системе.

Значимость

Признак

14 Применение нейронных сетей для оценки тематической близости

Применение нейронных сетей для оценки тематической близости

докладчик : Варламов А.Д.

15 Структура нейронной сети

Структура нейронной сети

Была сконструирована двухслойная нейронная сеть, структура которой приведена на рисунке. 1 слой – значения признаков; 2,3 слои – формальные нейроны Мак-Каллока; 4 слой – выходное значение, соответствующее степени близости.

16 Обучение нейронной сети

Обучение нейронной сети

Для обучения нейронной сети использовался генетический алгоритм. Причины выбора данного способа обучения: Генетические алгоритмы хорошо распараллеливаются, при этом обладая свойством масштабируемости (больше потоков – быстрее обработка). Многие алгоритмы обучения могут свести решение к локальному оптимальному результату (локальный минимум ошибки) и не смогут его улучшить при сколь угодно большом количестве попыток. Генетический алгоритм в данном случае способен “выйти” из данного локального минимума и найти более оптимальное решение (процедура мутации). Авторы обладают опытом обработки и анализа изображений с использованием технологий машинного бучения, который реализовался в нейроимитаторе Сигнейро (www.обработка-изображений.рф). Данная технология успешно опробована в различных задачах работы с цифровыми изображениями. С использованием эвристик разработан быстрый генетический алгоритм обучения нейросети.

17 Критерий оптимизации

Критерий оптимизации

Существует большое количество метрик, оценивающих качество работы информационно-поисковых систем (полнота, точность и т.д.). В работе в качестве критерия оптимизации используется количество безошибочных откликов сети на все пары выборки. Это позволяет максимизировать аккуратность (метрика accuracy) или минимизировать ошибку (метрика error). График изменения аккуратности от количества прошедших поколений генетического алгоритма обучения нейросети представлен на рисунке.

0

50

100

Аккуратность

100%

Кол-во поколений

18 Основные особенности сети и машинного обучения

Основные особенности сети и машинного обучения

Характеристика

Особенность значение

Прецедент

Пара изображений и степень их близости

Количество входов

Соответствует количеству используемых признаков

Количество выходов

Один, со значением 1 или 0.

Количество эпох нейросети в процессе обучения

Равно произведению количества особей генетического алгоритма на количество поколений обучения

Особь генетического алгоритма

Набор синаптических весов сети

Необходимость предварительной обработки данных перед обучением

Имеется. Заключается в вычислении признаков для всех пар изображений значений признаков

19 Методика исследований

Методика исследований

20 Этапы исследований

Этапы исследований

Этап 1. Из коллекции изображений формируется обучающая выборка. Она состоит из множества прецедентов, каждый из которых включает в себя пару изображений и степень их близости, оцененную экспертом. Этап 2. Программно реализуются (при необходимости и разрабатываются) алгоритмы вычисления всевозможных признаков на изображениях. Этап 3. Для каждой пары изображений вычисляются значения всех признаков. Этап 4. Проводится факторный анализ признаков, в результате которого определяются главные признаки, значения которых будут использоваться в обучении нейронной сети и алгоритмы вычисления которых станут частью конечного алгоритма оценки визуального подобия изображений. Этап 5. Обучается нейронная сеть. По завершению этого процесса запоминаются данные, характеризующие величины ошибок нейронной сети относительно входной выборки. Эти показатели преобразуются в полноту и точность — целевые значения оценки качества выполняемой работы. Этап 6. Из коллекции изображений формируется тестовая выборка. Ее структура и характеристики (объем, соотношение близких и неблизких пар) должны соответствовать структуре и характеристикам обучающей выборки. Этап 7. Вычисляются значения ключевых признаков всех изображений, входящих в тестовую выборку. Этап 8. Прогоняется нейронная сеть на тестовой выборке с определением полноты и точности. Этап 9. Сравниваются полнота и точность анализа нейронной сетью изображений обучающей выборки с полнотой и точностью анализа нейронной сетью изображений тестовой выборки. При приблизительно одинаковых значениях соответствующих показателей работа считается завершенной.

21 Результаты исследований и перспективы развития

Результаты исследований и перспективы развития

докладчик : Шарапов Р.В.

22 Признаки

Признаки

В проведенном исследовании мы остановились на работе с 25 признаками, наиболее часто используемыми в задачах анализа изображений. В связи с тем, что поиск может осуществляться в больших коллекциях изображений, в качестве признаков мы рассматривали только те, которые можно просчитать для изображений заранее и занести в некое подобие поискового индекса. По этой причине, нами не рассматривались те признаки, которые необходимо рассчитывать по парам изображений непосредственно при осуществлении поиска.

23 Главные признаки

Главные признаки

Средние значения компонент R, G, B изображения в цветовой модели RGB; Медиана яркости; Детализированность; Признак симметрии изображения; Признак наличия текстур; Пропорции сторон; Наличие лиц на изображении; Нормированные 16-ти уровневые гистограммы по компонентам Y (яркости), U, V изображения в цветовой модели YUV; Среднеквадратичное отклонение яркостей уменьшенных копий (размером 32х32 пикселя) образца и рассматриваемого изображения.

24 Тестовая коллекция

Тестовая коллекция

В качестве набора исходных данных использовалась коллекция Flickr семинара РОМИП. В ней содержится 20000 фотографий разного качества и без единой темы; имеются фотоснимки людей, пейзажи, городские сцены и т.д. Фотографии сделаны при разном освещении, в помещениях, на улице и т.д. Из данной коллекции в обучающую выборку были отобраны 500 пар, среди которых 125 являются тематически близкими, а 375 нет. Тестовой выборкой являлось специальное задание дорожки семинара РОМИП с результатами работы группы асессоров.

25 Примеры изображений коллекции

Примеры изображений коллекции

26 Axioma

Axioma

Для осуществления поиска изображений по визуальному подобию на основе полученной нейронной сети была разработана программная оболочка Axioma. В процессе поиска она извлекает данные сигнатур (значения признаков) из поискового индекса, осуществляет вычисление меры близости образца к изображениям коллекции и ранжирует результаты поиска.

27 График полнота-точность

График полнота-точность

Полнота (recall)

Точность (precision)

Значения метрик для изображений обучающей выборки

Значения метрик для изображений тестовой выборки

значения метрик для изображений тестовой выборки РОМИП

28 Результаты тестирования

Результаты тестирования

29 Выводы

Выводы

30 Выводы

Выводы

Таким образом, была создана экспериментальная система, способная осуществлять поиск изображений по визуальному подобию в достаточно больших коллекциях. Вошедшая в оптимизационный критерий временная характеристика позволила минимизировать трудоемкость итогового алгоритма, который обладает линейным порядком временной сложности. В дальнейшем, при увеличении объемов обучающей и тестовой выборок, качественный показатель может быть улучшен и даже превзойден значения аналогов, так как на данный момент имеются расхождения в показателях обучающей и тестовой выборок.

31 Перспективы

Перспективы

Увеличение объемов обучающей выборки. Более жесткий отбор пар обучающей выборки. Расширение набора признаков изображений.

32 Спасибо за внимание

Спасибо за внимание

«Поиск визуально подобных изображений на основе машинного обучения»
http://900igr.net/prezentacija/informatika/poisk-vizualno-podobnykh-izobrazhenij-na-osnove-mashinnogo-obuchenija-78924.html
cсылка на страницу

Графическая информация

19 презентаций о графической информации
Урок

Информатика

130 тем
Слайды
900igr.net > Презентации по информатике > Графическая информация > Поиск визуально подобных изображений на основе машинного обучения