Текст
<<  Работа над сочинением по тексту Светланы Алексеевич Текстовая строительной компании пример текста  >>
Автоматическое выделение структур в тексте
Автоматическое выделение структур в тексте
Принципы
Принципы
Начальная обработка текста
Начальная обработка текста
Деление исходного текста на «морфемы»
Деление исходного текста на «морфемы»
Примеры деления слова на ММЕ
Примеры деления слова на ММЕ
Построение графа составляющих
Построение графа составляющих
Построение графа составляющих
Построение графа составляющих
Примеры графа составляющих
Примеры графа составляющих
Примеры графа составляющих
Примеры графа составляющих
Примеры графа составляющих
Примеры графа составляющих
Принципы выделения структур
Принципы выделения структур
Шаблоны-кандидаты
Шаблоны-кандидаты
Нахождение значимых шаблонов
Нахождение значимых шаблонов
Построение вероятностных функций
Построение вероятностных функций
Использование вероятностных функций
Использование вероятностных функций
Построение вероятностных функций
Построение вероятностных функций
Построение вероятностных функций
Построение вероятностных функций
Итоговая оценка шаблона-кандидата
Итоговая оценка шаблона-кандидата
Классы эквивалентности
Классы эквивалентности
Выявление классов эквивалентности
Выявление классов эквивалентности
Пример класса эквивалентности
Пример класса эквивалентности
Пример класса эквивалентности
Пример класса эквивалентности
Пример класса эквивалентности
Пример класса эквивалентности
Пример класса эквивалентности
Пример класса эквивалентности
Итеративность процесса выделения структур
Итеративность процесса выделения структур
Образование новых узлов в графе
Образование новых узлов в графе
Тестовые данные
Тестовые данные
Пример структуры узла (текст из CHILDES)
Пример структуры узла (текст из CHILDES)
Пример структуры узла (текст из CHILDES)
Пример структуры узла (текст из CHILDES)
Пример структуры узла
Пример структуры узла
Пример структуры узла
Пример структуры узла
Пример структуры узла
Пример структуры узла
Тестирование программы на различных текстах
Тестирование программы на различных текстах

Презентация на тему: «Автоматическое выделение структур в тексте». Автор: XXL. Файл: «Автоматическое выделение структур в тексте.ppt». Размер zip-архива: 458 КБ.

Автоматическое выделение структур в тексте

содержание презентации «Автоматическое выделение структур в тексте.ppt»
СлайдТекст
1 Автоматическое выделение структур в тексте

Автоматическое выделение структур в тексте

* Санкт-Петербург 2007 *

2 Принципы

Принципы

Отсутствие предварительной разметки текста Автоматическая обработка Статистические критерии выделения структур Иерархическое построение Наличие классов свободного варьирования Представление исходного текста в виде графа Итерационное выявление новых структур на основе уже существующих

* Санкт-Петербург 2007 *

3 Начальная обработка текста

Начальная обработка текста

Построение графа составляющих

Принципы выделения структур

Классы эквивалентности

Итеративность процесса выделения структур

Тестовые данные

* Санкт-Петербург 2007 *

4 Деление исходного текста на «морфемы»

Деление исходного текста на «морфемы»

использован список морфем из первого тома Русской Грамматики

деление на ММЕ (минимальные морфологические единицы) или слова

Выбор самой длинной морфемы

Формальное и искусственное деление

* Санкт-Петербург 2007 *

5 Примеры деления слова на ММЕ

Примеры деления слова на ММЕ

* Санкт-Петербург 2007 *

6 Построение графа составляющих

Построение графа составляющих

Начальная обработка текста

Принципы выделения структур

Классы эквивалентности

Итеративность процесса выделения структур

Тестовые данные

* Санкт-Петербург 2007 *

7 Построение графа составляющих

Построение графа составляющих

Предложение

Мме

Узел графа: сама морфема список предыдущих морфем список последующих морфем информация об индексах морфемы служебная информация (координаты и др.)

Граф составляющих

* Санкт-Петербург 2007 *

8 Примеры графа составляющих

Примеры графа составляющих

* Санкт-Петербург 2007 *

9 Примеры графа составляющих

Примеры графа составляющих

* Санкт-Петербург 2007 *

10 Примеры графа составляющих

Примеры графа составляющих

* Санкт-Петербург 2007 *

11 Принципы выделения структур

Принципы выделения структур

Начальная обработка текста

Построение графа составляющих

Классы эквивалентности

Итеративность процесса выделения структур

Тестовые данные

* Санкт-Петербург 2007 *

12 Шаблоны-кандидаты

Шаблоны-кандидаты

Шаблон-кандидат – последовательность узлов графа составляющих, встречающаяся в достаточном большом числе предложений

Обнаружение шаблона-кандидата

* Санкт-Петербург 2007 *

13 Нахождение значимых шаблонов

Нахождение значимых шаблонов

Значимый шаблон – шаблон-кандидат, удовлетворяющий определенным статистическим критериям

Необходимо построить вероятностные функции для выявления границ значимого шаблона

* Санкт-Петербург 2007 *

14 Построение вероятностных функций

Построение вероятностных функций

* Санкт-Петербург 2007 *

15 Использование вероятностных функций

Использование вероятностных функций

Формирование матрицы на основе функций Pr и Pl вдоль пути S графа составляющих:

* Санкт-Петербург 2007 *

16 Построение вероятностных функций

Построение вероятностных функций

Представление вероятностных функций

* Санкт-Петербург 2007 *

17 Построение вероятностных функций

Построение вероятностных функций

Построение дополнительных функций для определения скорости падения функций Pr и Pl:

Пороговое значение: ? = 0.33

* Санкт-Петербург 2007 *

18 Итоговая оценка шаблона-кандидата

Итоговая оценка шаблона-кандидата

Критерий оценки шаблона-кандидата:

* Санкт-Петербург 2007 *

19 Классы эквивалентности

Классы эквивалентности

Начальная обработка текста

Построение графа составляющих

Принципы выделения структур

Итеративность процесса выделения структур

Тестовые данные

* Санкт-Петербург 2007 *

20 Выявление классов эквивалентности

Выявление классов эквивалентности

Класс эквивалентности - набор вершин, которые являются взаимозаменяемыми в данном контексте (класс свободного варьирования)

Алгоритм:

Определить окно длины L определить в рамках данного окна слот получить шаблон, имеющий префикс, суффикс и класс эквивалентности в позиции слота

* Санкт-Петербург 2007 *

21 Пример класса эквивалентности

Пример класса эквивалентности

Отрывок текста корпуса CHILDES:

* Санкт-Петербург 2007 *

22 Пример класса эквивалентности

Пример класса эквивалентности

that

thinks

Префикс

Суффикс

Класс эквивалентности

* Санкт-Петербург 2007 *

23 Пример класса эквивалентности

Пример класса эквивалентности

Жила

И

Катерина

Получила

Префикс

Суффикс

Класс эквивалентности

* Санкт-Петербург 2007 *

24 Пример класса эквивалентности

Пример класса эквивалентности

Интер

К

По

Е

Л

М

Префикс

Суффикс

Р

Класс эквивалентности

* Санкт-Петербург 2007 *

25 Итеративность процесса выделения структур

Итеративность процесса выделения структур

Начальная обработка текста

Построение графа составляющих

Принципы выделения структур

Классы эквивалентности

Тестовые данные

* Санкт-Петербург 2007 *

26 Образование новых узлов в графе

Образование новых узлов в графе

Образование нового узла P

* Санкт-Петербург 2007 *

27 Тестовые данные

Тестовые данные

* Санкт-Петербург 2007 *

28 Пример структуры узла (текст из CHILDES)

Пример структуры узла (текст из CHILDES)

Простой узел

* Санкт-Петербург 2007 *

29 Пример структуры узла (текст из CHILDES)

Пример структуры узла (текст из CHILDES)

Более сложный узел

* Санкт-Петербург 2007 *

30 Пример структуры узла

Пример структуры узла

Простой узел

* Санкт-Петербург 2007 *

31 Пример структуры узла

Пример структуры узла

Простой узел

* Санкт-Петербург 2007 *

32 Пример структуры узла

Пример структуры узла

Более сложный узел

* Санкт-Петербург 2007 *

33 Тестирование программы на различных текстах

Тестирование программы на различных текстах

Один из текстов Национального корпуса русского языка из раздела публицистики (1400 слов – 843 уникальных) Найдено:

163 класса эквивалентности 45 значимых шаблонов

Фрагмент текста, представляющего собой слова родителей, обращенные к детям (корпус текстов CHILDES) (2020 слов – 27 уникальных) Найдено:

13 классов эквивалентности 4 значимых шаблонов

* Санкт-Петербург 2007 *

«Автоматическое выделение структур в тексте»
http://900igr.net/prezentacija/literatura/avtomaticheskoe-vydelenie-struktur-v-tekste-243210.html
cсылка на страницу
Урок

Литература

183 темы
Слайды
900igr.net > Презентации по литературе > Текст > Автоматическое выделение структур в тексте