Без темы
<<  Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ  >>
Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ
Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ
Лекция 6. СИНТАГМАТИЧЕСКАЯ МОДЕЛЬ ТЕКСТА
Лекция 6. СИНТАГМАТИЧЕСКАЯ МОДЕЛЬ ТЕКСТА
Литература
Литература
Формальное описание основных синтагм
Формальное описание основных синтагм
Литература
Литература
Синтагматическая структура текста
Синтагматическая структура текста
Основные синтагмы (1)
Основные синтагмы (1)
Основные синтагмы (2)
Основные синтагмы (2)
Основные синтагмы (3)
Основные синтагмы (3)
Основные синтагмы (4)
Основные синтагмы (4)
Основные синтагмы (5)
Основные синтагмы (5)
Порождающие грамматики ея описания порм (1)
Порождающие грамматики ея описания порм (1)
Порождающие грамматики ея описания порм (2)
Порождающие грамматики ея описания порм (2)
Порождающие грамматики ея описания порм (3)
Порождающие грамматики ея описания порм (3)
Порождающие грамматики ея описания порм (4)
Порождающие грамматики ея описания порм (4)
Формальное описание производных синтагм и синтагматических
Формальное описание производных синтагм и синтагматических
Производные синтагмы (1)
Производные синтагмы (1)
Производные синтагмы (2)
Производные синтагмы (2)
Производные синтагмы (3)
Производные синтагмы (3)
Производные синтагмы (4)
Производные синтагмы (4)
Производные синтагмы (5)
Производные синтагмы (5)
Производные синтагмы (6)
Производные синтагмы (6)
Статистический анализ синтагматических конструктивов
Статистический анализ синтагматических конструктивов
Динамический анализ текста (1)
Динамический анализ текста (1)
Динамический анализ текста (2)
Динамический анализ текста (2)
Динамический анализ текста (3)
Динамический анализ текста (3)
Динамический анализ текста (4)
Динамический анализ текста (4)
Динамический анализ текста (5)
Динамический анализ текста (5)
Динамический анализ текста (6)
Динамический анализ текста (6)
Динамический анализ текста (7)
Динамический анализ текста (7)
Динамический анализ текста (8)
Динамический анализ текста (8)
Динамический анализ текста (9)
Динамический анализ текста (9)
Вопросы для самоконтроля
Вопросы для самоконтроля

Презентация на тему: «Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ». Автор: Филиппович Ю.Н.. Файл: «Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ.ppt». Размер zip-архива: 268 КБ.

Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ

содержание презентации «Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ.ppt»
СлайдТекст
1 Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ

Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ

ОСНОВНЫЕ РАЗДЕЛЫ ТЕМЫ 1.1. Модели и методы представления и организации знаний — лекции 1-2. 1.2. Количественная спецификация ЕЯ систем — лекции 3-4, 8. 1.3. Логико-статистические методы извлечения знаний — лекция 5-7. ФАКУЛЬТАТИВНЫЕ РАЗДЕЛЫ ТЕМЫ ДЛЯ САМОСТОЯТЕЛЬНОГО ИЗУЧЕНИЯ 1.4. Технология автоматизированного построения словаря-тезауруса. 1.5. Пример исследования ЕЯ ресурса.

2 Лекция 6. СИНТАГМАТИЧЕСКАЯ МОДЕЛЬ ТЕКСТА

Лекция 6. СИНТАГМАТИЧЕСКАЯ МОДЕЛЬ ТЕКСТА

Формальное описание основных синтагм Формальное описание производных синтагм и синтагматических конструктивов Статистический анализ синтагматических конструктивов

3 Литература

Литература

Материал лекции представлен в книге: Ю.Н.Филиппович, А.В.Прохоров. Семантика информационных технологий: опыты словарно-тезаурусного описания. / Серия «Компьютерная лингвистика». Вступ. Статья А.И.Новикова. М.: МГУП, 2002. — книга в комплекте с CD ROM — С. 54–64.

4 Формальное описание основных синтагм

Формальное описание основных синтагм

Конструктивные ЕЯ единицы: корпус текстов, текст, контекст, сверхфразовое единство, предложение, словосочетание, слово, морфема, квази-морфема, слог, символ алфавита (буква). Синтагма — непроизвольная цепочка языковых единиц нижнего уровня (символов). Синтагмы каждого верхнего уровня состоят из синтагм нижних уровней. ? ?

Основные : символ, слово, предложение, текст

Производные : морфема, квази-морфема, слог, словосочетание, сверхфразовое единство, контекст и корпус текстов.

Цели выделения основных синтагм Описание текста на основе теории формальных языков. Выделение комплекса задач предварительного анализа текста.

5 Литература

Литература

Филиппович Ю.Н., Родионов Е.В., Черкасова Г.А. Языковые средства диалога человека с ЭВМ. Практическое пособие / Серия «Организация взаимодействия человека с техническими средствами АСУ». В 7 кн. Кн.2. Под ред. Четверикова В.Н. М.: Высш. шк., 1990. – 159 с.

6 Синтагматическая структура текста

Синтагматическая структура текста

СИНТАГМАТИЧЕСКАЯ СТРУКТУРА ТЕКСТА — комплекс синтагматических конструктивов, построенных на основе основных и производных синтагм. Основные синтагматические конструктивы: тексты, словники (частичные и полные, прямые и обратные, частотные) — упорядоченные списки синтагм словоуказатели.— индексы упорядоченных списков синтагм нижнего уровня по синтагмам верхнего уровня, а также по организационным единицам (том, часть, глава, страница, строка, и т.д.).

7 Основные синтагмы (1)

Основные синтагмы (1)

Алфавитом естественно-языкового описания предметной области будем называть множество AB, такое что:

Abх — алфавиты современных естественных языков (различаются множества прописных и строчных букв)

ABD — множество цифр

ABS — множество специальных символов, которые могут выступать в качестве букв слов

Где:

.

,

,

.

,

8 Основные синтагмы (2)

Основные синтагмы (2)

Стоп-знак слова — элемент множества знаков, которые позволяют отделять в тексте слова друг от друга. Стоп-знак stW слова W является элементом транзитивного замыкания множества стоп-знаков:

, Где

.

,

.

9 Основные синтагмы (3)

Основные синтагмы (3)

Словом в ЕЯ описании ПО будем называть конкатенацию элемента транзитивного замыкания множества AB и стоп-знака:

10 Основные синтагмы (4)

Основные синтагмы (4)

Предложение будем рассматривать как конкатенация стоп-знака предложения STS и элемента транзитивного замыкание слов и их разделителей:

.

11 Основные синтагмы (5)

Основные синтагмы (5)

Текст определяется аналогично предложению как конкатенация стоп-знака и элемента транзитивного замыкания слов и их разделителей:

12 Порождающие грамматики ея описания порм (1)

Порождающие грамматики ея описания порм (1)

GT – грамматика, порождающая текст. GS – грамматика, порождающая предложение. GW – грамматика, порождающая слово. N – множество нетерминальных символов T = AB ? STW – множество терминальных символов. S – начальный нетерминальный символ. EOF = <конец_файла> EOL = (<переход_на_след_строку> <возврат_каретки>)

13 Порождающие грамматики ея описания порм (2)

Порождающие грамматики ея описания порм (2)

ОПИСАНИЕ ГРАММАТИКИ, ПОРОЖДАЮЩЕЙ ТЕКСТ GT = (N, T, P, S0) N = { S0,S1,S2,S3,S4} T = AB ? STW P = { S0 ? S1 EOF | EOF, S1 ? S2 S1 | S2, S2 ? S3 S4 | S3 | S4, S3 ? w S3 | w w ?AB ? T S4 ? s S4 | s s ? (STW \ EOF) ? T

14 Порождающие грамматики ея описания порм (3)

Порождающие грамматики ея описания порм (3)

ОПИСАНИЕ ГРАММАТИКИ, ПОРОЖДАЮЩЕЙ ПРЕДЛОЖЕНИЯ GS = (N, T, P, S0) N = { S0,S1,S2,S3,S4} T = AB ? STW P = { S0 ? S1 е | е , е ? STS ? T S1 ? S2 S1 | S2, S2 ? S3 S4 | S3 | S4, S3 ? w S3 | w w ?AB ? T S4 ? s S4 | s s ? (STW \ STS) ? T }

15 Порождающие грамматики ея описания порм (4)

Порождающие грамматики ея описания порм (4)

ОПИСАНИЕ ГРАММАТИКИ, ПОРОЖДАЮЩЕЙ СЛОВА. GW = (N, T, P, S0) N = { S0,S1,S2,S3 } T = AB ? STW P = { S0 ? S1 е | е , е ? STW ? T S1 ? S2 S1 | S2 S2 ? w S3 | w w ?AB ? T S3 ? s S3 | s s ? (STW \ EOF) ? T }

16 Формальное описание производных синтагм и синтагматических

Формальное описание производных синтагм и синтагматических

конструктивов

Генеральная совокупность = корпус текстов ЕЯ описания ПОРМ ? Объект исследования — отдельные синтагмы, являющиеся элементами этого корпуса текстов ? Основные характеристики — абсолютные частоты встречаемости синтагм в корпусе текстов и составляющих его частях

17 Производные синтагмы (1)

Производные синтагмы (1)

Корпус текстов G — это множество текстов ЕЯ описания ПОРМ: G = { T1, T2, ..., TN }, где N – число текстов в корпусе, Ti – i-ый текст. Словосочетание wk — выводится из GT., состоит ровно из k-слов, между которыми отсутствуют стоп-знаки предложения или текста: wk = w1w2w3..wk. Любое отдельное слово w = w1. Поставим в соответствие каждому выражению wk число, характери-зующее частоту его встречаемости в конкретном выводе GT и получим отображение F: wk ? E, где E – множество целых чисел. Частотная функция — F = N(wk, T), где: T – конкретный текст, wk – словосочетание. Свойства частотной функции: N(wk,T)>0, если wk ? T, и N(wk,T)=0, если wk ?T. Из w = w1 следует, что N(w,T) = N(w1,T).

18 Производные синтагмы (2)

Производные синтагмы (2)

Суммой текстов T1 и Т2 называется текст Т3, получаемый удалением из текста T1 стоп-знаков текста и присоединением к нему текста T2 T3 – является текстом, выводимым из GT. Доказательство Если существуют T1 и T2, выводимые из GT, то существует конкретный вывод T1 и T2 из аксиомы S0. T1 и Т2 – конечные последовательности символов терминального алфавита GT, а сама грамматика может порождать последовательности любой длины. Следовательно, после вывода всех символов T1 можно осуществить вывод дополнительно всех символов T2. Таким образом, T3 есть текст, порождаемый GT. Будем записывать: T3 = T1 + T2, T1+T2 ? T2+T1.

19 Производные синтагмы (3)

Производные синтагмы (3)

Контекст С(T) — непрерывный фрагмент текста T, т.е. фрагмент вывода в GT. Свойства контекста: N(wk, T1) + N (wk, T2) = N(wk, T1+T2) N(wk, C(T)) ? N(wk, T) T = C1(T)+...+Cq(T), где Сi(T)? Cj(T)=?, i,j (i?j) ?[0,q] ? N(wk,Сi(T)) ? N(wk, T), где Сi(T)? Cj(T)=? Замечание. N(wk, T1) + N (wk, T2) ? N(wk, T1+T2), Тексты завершаются стоп-знаками предложения, Возможность словосочетания wk на границе T1 и T2 практически отсутствует. Будем считать, что N(wk, T1) + N (wk, T2) = N(wk, T1+T2).

20 Производные синтагмы (4)

Производные синтагмы (4)

Частотный словник — упорядоченная совокупность слов (или словосочетаний) текста и значений их частотной функции S(T) = ( <wk, N(wk,T)>). Операции над словниками Объединение словников. Объединением словников S(T1) и S(T2) будем называть словник S(T1+T2). В объединенный словник войдут все слова и словосочетания из обоих текстов со своими частотными функциями, а для одинаковых слов (или словосочетаний) строится суммарная частотная функция. Вычитание словников. Вычитанием словников S(T1)-S(T2) будем называть словник S(T*), в который войдут только те слова (или словосочетания) из T1, для которых N(wk,T1) > N(wk,T2). Под T* понимается гипотетический текст, по которому мог бы быть построен словник S(T*).

,

21 Производные синтагмы (5)

Производные синтагмы (5)

Ограничения синтагматической структуры: невозможность различения в словах дефиса, распознавание только слова и предложения, невозможность распознавания вложенных структур (скобочных записей, прямой речи, других формально-синтаксических конструкций).

порождающая синтагматическая структура ? распознающая модель = «программа-транслятор» ? генератор синтагматического кода ЕЯ описания ПОРМ ? комплекс синтагматических конструктивов: словники, словоуказатели, списки словосочетаний, контексты, индексы и т.п.

22 Производные синтагмы (6)

Производные синтагмы (6)

СИНТАГМАТИЧЕСКАЯ МОДЕЛЬ ТЕКСТА — это представление его в виде множества основных синтагматических конструктивов, полученных путем преобразования текста на основе его формально-языкового теоретико-множественного описания:

.

23 Статистический анализ синтагматических конструктивов

Статистический анализ синтагматических конструктивов

Частотный анализ текста — формирование параметрического профиля текста. Задачи частотного анализа Вычисление параметров распределения слов в модели «ранг-частота» для текстов. Построение для текстов частотных функций для слов и парных словосочетаний: N(wij, Tj), N(wij2, Tj)}, где wij,wij2 ?Tj, j =1,N. Построение частотных словников { S(Tj) }, где j=1,N. Вычисление общего числа элементов словника:

, Где rj – число элементов в словнике s(tj).

Вычисление параметров распределения слов в модели «ранг-частота» для генеральной совокупности. Нахождение параметров закона Мандельброта для генеральной совокупности.

24 Динамический анализ текста (1)

Динамический анализ текста (1)

Динамический анализ текста — выявление закономерностей изменения количественных характеристик структуры ЕЯ описания ПОРМ в течение времени ?t. Задачи динамического анализа Определение структуры текста; Определение структуры словников, Определение содержания словников Определение наполнения словников. Основная идея динамического анализа заключается в наблюдении за характером изменения частотных интервалов.

25 Динамический анализ текста (2)

Динамический анализ текста (2)

В общем случае имеет место следующая таблица:

Частота

F 1

F2

F 3

F 4

....

F N

1

1 - р1

Р2 - р3

...

Рk - рk+1

> Рk+1

Итого:

Здесь: [Pk,Pk+1] – границы частотных интервалов.

– Тексты или словники, по которым проводится наблюдение.

26 Динамический анализ текста (3)

Динамический анализ текста (3)

Динамика структуры текста показывает относительное изменение объемов частотных групп в текстах в течение некоторого интервала времени.

Где

Здесь: Mj – число слов в тексте Tj, Rt – число слов в тексте Ft

27 Динамический анализ текста (4)

Динамический анализ текста (4)

Результаты могут быть сведены в таблицу:

Частота

F 1

F2

F 3

F 4

....

F N

1

?(1,0,1)

?(N,0,1)

1 - р1

?(1,1,р1)

?(N,1,р1)

Р2 - р3

?(2,р2,р3)

...

Рk - рk+1

> Рk+1

Итого:

?(1,0,?)

?(1,0,?)

1

В строке «итого», записывается сумма вышестоящего столбца, т.е. ?(1,0,?). Очевидно, что ?(N,0,?) = 1

28 Динамический анализ текста (5)

Динамический анализ текста (5)

Динамика структуры словников показывает относительное изменение объемов частотных групп в словниках в течение некоторого интервала времени.

Где

29 Динамический анализ текста (6)

Динамический анализ текста (6)

Здесь: Rt – число слов в словнике Ft.

Динамика содержания словников показывает соотношение объемов частотных групп в течение некоторого интервала времени.

Где

30 Динамический анализ текста (7)

Динамический анализ текста (7)

Результаты могут быть сведены в таблицу:

Частота

F 1

F2

F 3

F 4

....

F N

1

?(1,0,1)

?(N,0,1)

1 - р1

?(1,1,р1)

?(N,1,р1)

Р2 - р3

?(2,р2,р3)

...

Рk - рk+1

> Рk+1

Итого:

1

1

1

1

1

1

31 Динамический анализ текста (8)

Динамический анализ текста (8)

Динамика наполнения словников характеризует «прирост» новых слов в частотные группы в течение некоторого временного интервала.

Где

Здесь: RN – число слов в словнике FN. Rt – число слов в словнике Ft.

32 Динамический анализ текста (9)

Динамический анализ текста (9)

Результаты могут быть сведены в таблицу:

Частота

F 1

F2

F 3

F 4

....

F N

1

?(1, 0, 1)

1

1 - р1

?(1, 1, р1)

1

Р2 - р3

?(2, р2, р3)

1

...

1

Рk - рk+1

1

> Рk+1

1

Итого:

?(1, 0, ?)

?(1, 0, ?)

1

33 Вопросы для самоконтроля

Вопросы для самоконтроля

Что такое синтагматическая модель текста? Приведите формальное описание основных синтагм. Приведите формальное описание производных синтагм. Приведите примеры синтагматических конструктивов. Перечислите основные этапы статистического анализа синтагм и синтагматических конструктивов.

«Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ»
http://900igr.net/prezentacija/russkij-jazyk/tema-1.-estestvenno-jazykovye-znakovye-sistemy-215283.html
cсылка на страницу

Без темы

322 презентации
Урок

Русский язык

100 тем
Слайды
900igr.net > Презентации по русскому языку > Без темы > Тема 1. ЕСТЕСТВЕННО-ЯЗЫКОВЫЕ ЗНАКОВЫЕ СИСТЕМЫ