Количество информации

Количество информации

1. Количество информации как мера уменьшения неопределённости знания

Если некоторое сообщение приводит к уменьшению неопределённости нашего знания, то можно говорить, что такое сообщение содержит информацию.

Пример: Зачёт-незачёт ? уменьшение неопределённости в 2 раза. Оценка (2, 3, 4, 5) ? уменьшение неопределённости в 4 раза.

N - количество информационных сообщений; I - количество информации,

которое несёт полученное сообщение.

Количество информации можно рассматривать как меру уменьшения неопределённости знания при получении информационного сообщения.

За единицу количества информации принимается количество информации, содержащееся в информационном сообщении, уменьшающим неопределённость знания в 2 раза. Такая единица называется бит.

Производные единицы измерения количества информации

1 байт = 8 битов = 23 битов

1 килобайт (Кбайт) = 210 байтов = 1024 байтов; 1 мегабайт (Мбайт) = 210 Кбайт = 1024 Кбайтов; 1 гигабайт (Гбайт) = 210 Мбайт = 1024 Мбайтов; 1 терабайт (Тбайт) = 210 Гбайт = 1024 Гбайтов 1 петабайт (Пбайт)

Бод (англ

baud) в связи и электронике — единица измерения символьной скорости, количество изменений информационного параметра несущего периодического сигнала в секунду. Названа по имени Эмиля Бодо, изобретателя кода Бодо — кодировки символов для телетайпов. Зачастую, ошибочно, считают, что бод — это количество бит, переданное в секунду. В действительности же это верно лишь для двоичного кодирования, которое используется не всегда. Например, в современных модемах используется квадратурная амплитудная манипуляция (КАМн), и одним изменением уровня сигнала может кодироваться несколько (до 16) бит информации. Например, при символьной скорости 2400 бод скорость передачи может составлять 9600 бит/c благодаря тому, что в каждом временном интервале передаётся 4 бита. Кроме этого, бодами выражают полную ёмкость канала, включая служебные символы (биты), если они есть. Эффективная же скорость канала выражается другими единицами, например битами в секунду (бит/c, bps).

2. Определение количества информации

N = 25 = 32

Определение количества информационных сообщений

Пример

Определение количества экзаменационных билетов. Сообщение: зрительное информационное сообщение о номере билета равно 5. Определить количество билетов.

Решение

Ответ: количество экзаменационных билетов равно 32.

8 = 2I

23 = 2I

I = 3

Определение количества информации

Пример

Какое количество информации несёт команда роботу, если всего возможных команд 8?

Решение

Ответ: количество информации, которое несёт одна команда роботу равно 3.

3. Алфавитный подход к измерению информации

Информационная ёмкость знака

При таком подходе к определению количества информации отвлекаются от содержания (смысла) информации и рассматривают информационное сообщение как последовательность знаков определённой знаковой системы.

Пусть сообщение кодируется с помощью алфавита из N знаков. I ? количество информации, которое несёт один знак.

Определите по формуле, какое количество информации несёт знак в двоичной знаковой системе.

Информационная ёмкость знака в двоичной знаковой системе составляет 1

бит.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несёт в себе один знак.

Задача

Определите информационную ёмкость знака русского алфавита, если он состоит из 32 букв (исключим букву «ё»).

Количество информации, которое несёт знак, зависит от вероятности его

получения. Чем менее вероятно получение знака, тем больше его информационная ёмкость. В русскоязычном тексте в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и 2 буквы «ф». То есть, с точки зрения теории информации, информационная ёмкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» ? наибольшая.

Пусть I

количество информации, которое несёт каждый знак. Длина кода равна K. Количество информации Ic в сообщении можно вычислить по формуле:

Ic = I •K

Количество информации в сообщении

Например, каждая цифра двоичного кода несёт 1 бит информации. Следовательно, две цифры несут 2 бита информации, три ? 3 бита и т.д. Т.е. количество информации в битах равно количеству цифр двоичного кода.

Задча 1

Задача 2

Сколько информации содержит сообщение о том, что из колоды 32 карты достали король пик?

Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Задача 3

Задача 4

Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена?

В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице?

Задача 5

Из непрозрачного мешка, в котором находятся N нумерованных шаров достают 1 шар. Сообщение о номере шара несёт 6 бит информации. Определите число N шаров в мешке.