Веб-страницы
<<  Веб страницы веб сайты 8 класс Исследование строения и динамики развития научного веб-пространства на примере СО РАН  >>
Извлечение ключевых объектов веб-страниц
Извлечение ключевых объектов веб-страниц
Что улучшаем
Что улучшаем
Разбираем запрос
Разбираем запрос
Что такое объекты
Что такое объекты
Что такое контексты
Что такое контексты
Что у нас есть
Что у нас есть
Извлечение объектов из запросов
Извлечение объектов из запросов
Структура сайта
Структура сайта
Шаблоны
Шаблоны
Извлечение структуры сайта
Извлечение структуры сайта
Промежуточный результат
Промежуточный результат
смотреть Доктор Хаус онлайн без СМС
смотреть Доктор Хаус онлайн без СМС
Контекст 50 пар [Объект – URL]
Контекст 50 пар [Объект – URL]
http://kino
http://kino
Выдёргиватель
Выдёргиватель
Для: http://kino
Для: http://kino
<div><ul><li></li>*<li></li></ul>
<div><ul><li></li>*<li></li></ul>
Фильмы:
Фильмы:
Эталонные объекты
Эталонные объекты
Подготовка «выдергивателей»
Подготовка «выдергивателей»
смотреть Доктор Хаус онлайн без СМС
смотреть Доктор Хаус онлайн без СМС
Результаты:
Результаты:
Спасибо
Спасибо

Презентация на тему: «Извлечение ключевых объектов веб-страниц». Автор: Андрей Калинин. Файл: «Извлечение ключевых объектов веб-страниц.pptx». Размер zip-архива: 2873 КБ.

Извлечение ключевых объектов веб-страниц

содержание презентации «Извлечение ключевых объектов веб-страниц.pptx»
СлайдТекст
1 Извлечение ключевых объектов веб-страниц

Извлечение ключевых объектов веб-страниц

Михаил Обухов, Дмитрий Вихарев

2 Что улучшаем

Что улучшаем

Ответы на запросы

3 Разбираем запрос

Разбираем запрос

Контекст

Смотреть онлайн без СМС

Доктор Хаус

Объект

смотреть Доктор Хаус онлайн без СМС

4 Что такое объекты

Что такое объекты

Названия Организаций Фильмов Программ Песен Музыкальных групп … Имена людей и т.д. (именованные сущности)

Пираты карибского моря

Москва

Mail.RU

Джонни Депп

Форрест Гамп

5 Что такое контексты

Что такое контексты

Остальная часть запроса Примеры: Купить <товар> Смотреть <фильм> онлайн бесплатно <известный человек> биография Рецепт <блюдо>

6 Что у нас есть

Что у нас есть

http://www.ashmanov.com/arc/aiconf2012/15-obuhov-ai-conf2012.pptx

JSD: Jensen-Shanon Divergence

7 Извлечение объектов из запросов

Извлечение объектов из запросов

Контексты

Страницы

Объекты

Запросы

8 Структура сайта

Структура сайта

9 Шаблоны

Шаблоны

http://kino.ru/movie/[\d+]/

ФИЛЬМ- фильмы

Фильм

Описание: …

Комментарии:

В ролях: …

10 Извлечение структуры сайта

Извлечение структуры сайта

Объекты

Контексты

Страницы

Фильм <название> <название> Трейлер …

Фото <название> <название> Постер Обои <название> …

11 Промежуточный результат

Промежуточный результат

http://kino.ru/movie/photo/[\d+]/

http://kino.ru/people/[\d+]/

http://kino.ru/movie/[\d+]/

смотреть <фильм> онлайн <фильм> без СМС <фильм> в хорошем качестве …

Биография <актер> <актер> фото <актер> фильмы …

Кадры из <фильм> <фильм> моменты <фильм> обои …

Объект

Объект

В ролях: …

12 смотреть Доктор Хаус онлайн без СМС

смотреть Доктор Хаус онлайн без СМС

13 Контекст 50 пар [Объект – URL]

Контекст 50 пар [Объект – URL]

Контекст 50 пар [Объект – URL]

Интересные сайты «Выдергиватели»

Интересные сайты «Выдергиватели»

Интересные сайты «Выдергиватели»

Интересные сайты и «Выдергиватели» (для них)

База (будущий индекс)

Эталонные объекты

Объект + URL

«Гладиатор»

14 http://kino

http://kino

ru/movie/165650/

Матрица

Матрица - фильмы

В ролях: …

Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ…

Комментарии:

… Матрица …

… Матрица …

… Матрица …

… Матрица …

15 Выдёргиватель

Выдёргиватель

…<div><div><p></p><h1>*</h1><p></p></div>…

<div class="g-full-col clearfix"> <div class="g-one-col g-wrapper"> <div class="b-object-summary"> <div class="b-object-header"> <p class="object-type">Фильм</p> <h1>Матрица</h1> <p class="orig-name">The Matrix</p> </div>

Матрица

Матрица - фильмы

В ролях: …

Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ…

Комментарии:

… Матрица …

… Матрица …

… Матрца …

… Матрица …

16 Для: http://kino

Для: http://kino

ru/

«Выдёргиватели»

<div><div><p></p><h1>*</h1><p></p></div>

Гладиатор- фильмы

Матрица - фильмы

Терминатор - фильмы

Наиболее часто встречающиеся:

Наибольшие общие подстроки

Гладиатор

Матрица

Терминатор

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><div><p></p>*<p></p></div>…

…<div><ul><li></li>*<li></li></ul>…

…<div><ul><li>*</li></ul>…

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><div><div><p></p><h1>*</h1><p></p></div></div>…

…<div><div><p></p><h1>*</h1><p></p></div>…

Описание: Гладиатор..

Описание: … Матрица …

Описание: …

… Гладиатор…

… Терминатор …

Комментарии:

Комментарии:

Комментарии:

… Матрица …

… Матрица …

В ролях: …

В ролях: …

В ролях: …

17 <div><ul><li></li>*<li></li></ul>

<div><ul><li></li>*<li></li></ul>

<div><div><p></p><h1>*</h1><p></p></div>

Гладиатор- фильмы

Матрица - фильмы

Терминатор - фильмы

ФИЛЬМ- фильмы

Гладиатор

Матрица

Терминатор

Фильм

Описание: Гладиатор..

Описание: … Матрица …

Описание: …

… Гладиатор…

… Терминатор …

Описание: …

Комментарии:

Комментарии:

Комментарии:

… Матрица …

… Матрица …

Комментарии:

В ролях: …

В ролях: …

В ролях: …

В ролях: …

18 Фильмы:

Фильмы:

Актеры:

Кадры из фильма:

http://kino.ru/movie/photo/[\d+]/

http://kino.ru/people/[\d+]/

http://kino.ru/movie/[\d+]/

http://kino.ru/movie/168031/

http://kino.ru/people/289355/

http://kino.ru/movie/photo/168031/

http://kino.ru/movie/167325/

http://kino.ru/people/289212/

http://kino.ru/movie/photo/167325/

http://kino.ru/movie/165650/

http://kino.ru/people/287180/

http://kino.ru/movie/photo/165650/

Кеану Ривз - актеры

Матрица - фильмы

Терминатор - кадры

Кеану Ривз

Матрица

Терминатор

Описание: Кеану Ривз.

Описание: … Матрица …

Описание: …

… Кеану Ривз …

… Терминатор …

Комментарии:

Комментарии:

Комментарии:

… Матрица …

… Матрица …

В ролях: …

В ролях: …

В ролях: …

19 Эталонные объекты

Эталонные объекты

Матрица - фильмы

Матрица

Матрица смотреть …

Матрица

Матрица

Матрица

Описание: … Матрица …

Комментарии:

… Матрица …

… Матрица …

В ролях: …

В ролях: …

20 Подготовка «выдергивателей»

Подготовка «выдергивателей»

Контекст 50 пар [Объект – URL]

Контекст 50 пар [Объект – URL]

Матрица

Матрица

Матрица

Комментарии:

21 смотреть Доктор Хаус онлайн без СМС

смотреть Доктор Хаус онлайн без СМС

http://kino.ru/[\d+]-[\w+]-[\d+]-sezon.html/

http://kino.ru/25712-doktor-khaus-5-sezon.html/

Доктор Хаус смотреть …

URL

Доктор Хаус

Доктор Хаус

22 Результаты:

Результаты:

Точность: 99.9%

Раздел / Кол-во страниц

Kinopoisk

Afisha

Films.imhonet

Описание фильмов/сериалов

230k

80k

80k

- Описание фильмов

45k

40k

- Описание сериалов

35k

40k

- Сезонов сериалов

12k

- Эпизодов сериалов

250k

Знаменитости

480k

112k

80k

23 Спасибо

Спасибо

Вопросы?

Михаил Обухов obuhov@corp.mail.ru Дмитрий Вихарев d.vikharev@corp.mail.ru

«Извлечение ключевых объектов веб-страниц»
http://900igr.net/prezentacija/informatika/izvlechenie-kljuchevykh-obektov-veb-stranits-106191.html
cсылка на страницу
Урок

Информатика

130 тем
Слайды
900igr.net > Презентации по информатике > Веб-страницы > Извлечение ключевых объектов веб-страниц