Единицы длины
<<  Количество информации как мера уменьшения неопределенности знаний О мерах по укреплению и сохранению здоровья школьников  >>
Количество информации как мера уменьшения неопределенности знания
Количество информации как мера уменьшения неопределенности знания
1-й подход
1-й подход
Как её измерить
Как её измерить
Что знал до этого
Что знал до этого
Субъективность
Субъективность
Информация, как новизна
Информация, как новизна
2-й подход (ВЕРОЯТНОСТНЫЙ)
2-й подход (ВЕРОЯТНОСТНЫЙ)
Информация в сообщении
Информация в сообщении
Уменьшение неопределённости знания
Уменьшение неопределённости знания
?
?
Шар выпал из трубы
Шар выпал из трубы
БИТ и БАЙТ
БИТ и БАЙТ
Уменьшение неопределённости знания
Уменьшение неопределённости знания
Как произносить
Как произносить
?
?
?
?
I = log2 N – формула Хартли
I = log2 N – формула Хартли
Количество возможных событий и количество информации
Количество возможных событий и количество информации
Формула Шеннона
Формула Шеннона
Пример
Пример
3-й подхлд (Алфавитный)
3-й подхлд (Алфавитный)
Измерим неопределенность – измерим информацию
Измерим неопределенность – измерим информацию
Алфавит русского языка содержит 32 символа m = 32 m – объём алфавита
Алфавит русского языка содержит 32 символа m = 32 m – объём алфавита
Количество сообщений зависит от длины слов алфавита
Количество сообщений зависит от длины слов алфавита
Общее количество информации
Общее количество информации
Если все символы в алфавите встречаются одинаково часто
Если все символы в алфавите встречаются одинаково часто
На практике все не так
На практике все не так
Андрей Андреевич Марков
Андрей Андреевич Марков
«Марковская» цепь
«Марковская» цепь
Следствие из «марковских» цепей
Следствие из «марковских» цепей
Для одного элемента количество информации будет равно 4,39 бита Для
Для одного элемента количество информации будет равно 4,39 бита Для
ABBYY FineReader Professional Edition 8.0
ABBYY FineReader Professional Edition 8.0
Технический подход
Технический подход
Компьютерный практикум
Компьютерный практикум
а) 5 Кбайт = _ байт = _ бит; б) _ Кбайт = _ байт = 12 288 бит; в) _
а) 5 Кбайт = _ байт = _ бит; б) _ Кбайт = _ байт = 12 288 бит; в) _

Презентация на тему: «Количество информации как мера уменьшения неопределенности знания». Автор: Razumov. Файл: «Количество информации как мера уменьшения неопределенности знания.ppt». Размер zip-архива: 536 КБ.

Количество информации как мера уменьшения неопределенности знания

содержание презентации «Количество информации как мера уменьшения неопределенности знания.ppt»
СлайдТекст
1 Количество информации как мера уменьшения неопределенности знания

Количество информации как мера уменьшения неопределенности знания

2 1-й подход

1-й подход

Неизмеряемость информации в быту (информация как новизна)

3 Как её измерить

Как её измерить

Вы получили какое - то сообщение, например, прочитали статью в любимом журнале. В этом сообщении содержится какое-то количество информации. Как оценить, сколько информации Вы получили? Другими словами, как измерить информацию? Можно ли сказать, что чем больше статья, тем больше информации она содержит?

4 Что знал до этого

Что знал до этого

Разные люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

5 Субъективность

Субъективность

В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения (к примеру, критерий оценивания знаний). Таким образом, с точки зрения информации как новизны, мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении. Что же тогда говорить об измерении количества информации, содержащейся в научном открытии, новом музыкальном стиле, новой теории общественного развития.

6 Информация, как новизна

Информация, как новизна

Когда информация рассматривается как новизна сообщения для получателя, не ставится вопрос об измерении количества информации.

7 2-й подход (ВЕРОЯТНОСТНЫЙ)

2-й подход (ВЕРОЯТНОСТНЫЙ)

Измерение информации в теории информации (информация как снятая неопределенность)

8 Информация в сообщении

Информация в сообщении

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

9 Уменьшение неопределённости знания

Уменьшение неопределённости знания

События равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орёл» или «решка».

Перед броском существует неопределённость нашего знания (возможны два события), а после броска наступает полная определённость. Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно.

10 ?

?

из какой трубы упадут шары: из А или В? Эти события равновероятны! Существует неопределенность

11 Шар выпал из трубы

Шар выпал из трубы

За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза. Эта единица называется БИТ

НАСТУПИЛА ПОЛНАЯ ОПРЕДЕЛЕННОСТЬ: ШАР ВЫПАЛ ИЗ ТРУБЫ «А» - получили количество информации, равное 1 биту

12 БИТ и БАЙТ

БИТ и БАЙТ

Бит - (англ. Binary digit - двоичная цифра); байт (byte - байт );

13 Уменьшение неопределённости знания

Уменьшение неопределённости знания

При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события.

При бросании шестигранного игрального кубика существует 6 равновероятных событий.

14 Как произносить

Как произносить

Обычная форма родительного падежа (нет числительного): битов, байтов, килобайтов, (пример из другой системы – килограммов) Счетная форма используется в сочетании с числительными: 8 байт, 16 килобайт (пример из другой системы – 16 килограмм) Счетная форма является разговорной

15 ?

?

А если имеются три трубы? Количество возможных событий равно 3

16 ?

?

Чему будет равно количество информации в сообщении о том, что шар выпал из какой либо трубы?

Необходимо установить связь между Количеством возможных событий и количеством информации

17 I = log2 N – формула Хартли

I = log2 N – формула Хартли

Связь между количеством возможных равновероятных событий и количеством информации

Для нашего случая, когда шар выпал из трубы «А», сообщение об этом содержит количество информации

Где: N – количество возможных событий, I – количество информации.

Ральф Винтон Лайон Хартли

Научный подход к оценке сообщений был предложен в 1928 году

18 Количество возможных событий и количество информации

Количество возможных событий и количество информации

Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок.

Решение:

Дано:

2i = N 2i = 128 27 = 128 i = 7 бит

N = 128

i - ?

Ответ: i = 7 бит

19 Формула Шеннона

Формула Шеннона

N – количество возможных событий

По этой формуле вычисляется количество информации для событий с различными вероятностями

Клод Элвуд Шеннон

- Вероятности отдельных событий

20 Пример

Пример

В закрытом ящике имеется 8 черных шаров и 24 белых. Рассчитать вероятность взятия шаров и количества полученной при этом информации. РЕШЕНИЕ:

21 3-й подхлд (Алфавитный)

3-й подхлд (Алфавитный)

Человек по-разному может оценить количество информации, полученное в сообщении. Это зависит от меры незнания (неполноты знания). С получением информации неполнота знания уменьшается. Ее называют неопределенностью

22 Измерим неопределенность – измерим информацию

Измерим неопределенность – измерим информацию

Если научиться измерять неопределенность, то количество информации I, содержащееся в сообщении, можно будет определить по формуле: I = N – K Где: N – начальная неопределенность; K – конечная неопределенность

23 Алфавит русского языка содержит 32 символа m = 32 m – объём алфавита

Алфавит русского языка содержит 32 символа m = 32 m – объём алфавита

Алфавит, как средство хранения и передачи информации

24 Количество сообщений зависит от длины слов алфавита

Количество сообщений зависит от длины слов алфавита

При длине слова в два символа количество сообщений (возможных комбинаций) N равно 32? = 1024

N = *

Это выражение неудобно использовать, т.к при двух независимых источниках сообщений общее количество информации будет равно:

25 Общее количество информации

Общее количество информации

Оно должно состоять из суммы количеств информации и быть прямо пропорционально числу символов в сообщении (длине слова). Поэтому за количество информации берут логарифм числа возможных сообщений

26 Если все символы в алфавите встречаются одинаково часто

Если все символы в алфавите встречаются одинаково часто

Тогда один символ такого алфавита несет максимальную информацию, равную I max = log232 = 5 (бит)

27 На практике все не так

На практике все не так

Во всех разговорных языках одни буквы встречаются часто, другие реже К примеру, на 1000 букв приходится следующее количество повторений:

Русский язык

Русский язык

Английский язык

Английский язык

О

110

E

131

Е

87

T

105

А

75

F

86

И

75

O

80

Т

65

N

71

Н

65

R

68

28 Андрей Андреевич Марков

Андрей Андреевич Марков

Всемирно известный ученый в области математического анализа и теории вероятности; Математический аппарат марковских случайных процессов и марковской цепи играет важную роль при исследовании многих явлений в науке и технике.

Шахматист, фотограф, конструктор, математик, литературовед.

Автор автоспуска – устройства в фотоаппарате

29 «Марковская» цепь

«Марковская» цепь

Это «марковский» процесс, рассматриваемый как последовательность случайных событий, вероятности в котором не зависят от того, как данный процесс протекал в прошлом.

30 Следствие из «марковских» цепей

Следствие из «марковских» цепей

Поскольку использование различных элементов сообщения не равновероятно, то количество информации в сообщении уменьшается, причем это уменьшение будет тем более быстрым, чем большее число элементов будет охватываться.

31 Для одного элемента количество информации будет равно 4,39 бита Для

Для одного элемента количество информации будет равно 4,39 бита Для

двух – 3,52 бита Для трех – 3,05 бита При восьми – 2,0 бита И далее остается неизменным Таким образом, реальные сообщения при одинаковой информативности обладают избыточностью в элементах по сравнению с оптимальными сообщениями. Коэффициент избыточности русского языка составляет 0,6 Избыточность приводит: К увеличению времени передачи; позволяет восстанавливать отдельные слова и фразы; Повышает надежность каналов передачи информации (увеличивается помехоустойчивость) .

32 ABBYY FineReader Professional Edition 8.0

ABBYY FineReader Professional Edition 8.0

Cистема оптического распознавания текста. Она использует алгоритм марковских цепочек, позволяющий создавать довольно длинные "осмысленные" фразы из «разрушенного» текста

33 Технический подход

Технический подход

Информация как сообщения в форме знаков или сигналов, хранимые, передаваемые и обрабатываемые с помощью технических устройств

Исходное сообщение

Исходное сообщение

Количество информации

Количество информации

Количество информации

На языке

в машинном представлении (КОИ - 8)

В символах

В битах

В байтах

Рим

11110010 11101001 11101101

3

24

3

Мир

11101101 11101001 11110010

3

24

3

Миру мир!

11101101 11101001 11110010 11110101 00100000 11101101 1110101 11110010 00100001

9

72

9

(** */

00101000 00101010 00101010 00100000 00101010 00101111

6

48

6

34 Компьютерный практикум

Компьютерный практикум

Перевод единиц измерения количества информации

Задание 2.1. (стр. 108) С помощью программы Advanced Converter 2.9.5 выполнить перевод единиц измерения количества информации .

35 а) 5 Кбайт = _ байт = _ бит; б) _ Кбайт = _ байт = 12 288 бит; в) _

а) 5 Кбайт = _ байт = _ бит; б) _ Кбайт = _ байт = 12 288 бит; в) _

Кбайт = _ байт = 213 бит; г) _ Гбайт = 1536 Мбайт = _ Кбайт; д) 512 Кбайт = 2_ байт = 2_ бит.

а) 5 Кбайт = _______ байт = _______ бит; б) ______ Кбайт = _____ байт = 12 288 бит; в) ______ Кбайт = ______ байт = 213 бит; г) ___ Гбайт = 1536 Мбайт = ______ Кбайт; д) 512 Кбайт = 2______ байт = 2______ бит.

Компьютерный практикум

Перевод единиц измерения количества информации

Задание 2.2. (стр. 110) С помощью программы Wise Calculator выполнить перевод единиц измерения количества информации .

«Количество информации как мера уменьшения неопределенности знания»
http://900igr.net/prezentacija/matematika/kolichestvo-informatsii-kak-mera-umenshenija-neopredelennosti-znanija-235527.html
cсылка на страницу
Урок

Математика

71 тема
Слайды
900igr.net > Презентации по математике > Единицы длины > Количество информации как мера уменьшения неопределенности знания