Измерение информации

Информация

Понятие информации Свойства информации Различные подходы к определению количества информации

ИНФОРМАЦИЯ (лат

informatio) – сведение, разъяснение, ознакомление.

Базовые понятия:

Определение базовых понятий невозможно выразить через другие, более простые понятия. Содержание базовых понятий поясняется на примерах или выявляется путем их сопоставления с содержанием других понятий.

Информация

Понятие «информация» является общенаучным, используется в информатике, физике, кибернетике, биологии и др. науках

Свойства информации

Одну и ту же информацию разные люди могут оценить по разному

Измерение информации

Информация

Подходы к измерению информации

По отношению к человеку

По отношению к техническим устройствам

Вероятностный подход

Алфавитный подход

Знания

Через количество символов с учетом информационного веса символов

Через неопределенность знаний с учетом вероятности событий

Последовательность символов, сигналов

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: вероятностный подход

Информация для человека — это знания

Знание

Информация, которую получает человек, приводит к уменьшению неопределенности знаний

Незнание

Знание

Измерение информации

Информация, которую получает человек, приводит к уменьшению неопределенности знаний

Сообщение о результате приводит в уменьшению неопределенности наших знаний в 2 раза.

Возможные события. Они равновероятны

Произошедшее событие

?

?

Измерение информации

Сколько равновероятных событий может произойти при бросании равносторонней четырехгранной пирамидки, шестигранного куба?

Во сколько раз уменьшится неопределенность наших знаний при наступлении этих событий?

Измерение информации

Единицей количества информации является 1 бит – величина, уменьшающая неопределенность в два раза.

Какое количество информации получено при наступлении события?

Измерение информации

1 байт = 23 бит = 8 бит

1 Кбайт = 210 байт = 1024 байт 1 Мбайт = 210 Кбайт = 1024 Кбайт 1 Гбайт = 210 Мбайт = 1024 Мбайт

Измерение информации

Какова связь между количеством возможных событий и количеством полученной информации?

1 бит – величина, уменьшающая неопределенность в два раза

N = 2I

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: содержательный (вероятностный) подход

Где N – количество возможных событий, I – количество информации

Где N – количество возможных событий, I – количество информации, pi – вероятность i-го события

Для равновероятных событий:

Для событий с различными вероятностями (формула Шеннона):

N = 2I

8 = 2I

Ответ: 3 бита

Решение задач

Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет?

N = 2I

64 = 2I

Ответ: 6 бит

Решение задач

Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8 после первого хода первого игрока, играющего крестиками?

N = 2I

N = 24

Ответ: 16

Решение задач

Сообщение о том, что ваш друг живет на десятом этаже несет в себе 4 бита информации. Сколько этажей в доме?

Решение задач

1. В рулетке общее количество лунок равно 128. Какое количество информации мы получим при остановке шарика в одной из лунок?

2. Происходит выбор одной карты из колоды в 32 карты. Какое количество информации мы получим при выборе одной карты?

3. Сообщение о том, что Пети живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

4. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации передал библиотекарь Пете?

Решение задач

5. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?

6. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

7. Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 25 белых, 25 красных, 25 синих и 25 зеленых шариков?

8. Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения?

Решение задач

Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 10 белых, 20 красных, 30 синих и 40 зеленых шариков?

Pсин. = 30/100 = 0,3 pзел. = 40/100 = 0,4

Pбел. = 10/100 = 0,1 pкрасн. = 20/100 = 0,2

I = – (0,1•log20,1 + 0,2•log20,2 + 0,3•log20,3 + 0,4•log20,4) ? 1,85 бита Ответ: 1,85 бита

Решение задач

8. Заполните пропуски числами: 5 Кбайт = __ байт = __ бит __ Кбайт = __ байт = 12288 бит __ Кбайт = __ байт = 213 бит __ Гбайт = 1536 Мбайт = __ Кбайт 512 Кбайт = 2? байт = 2? бит

7. Какое количество информации о цвете вынутого шарика будет получено, если в непрозрачном пакете хранятся: 30 белых, 30 красных, 30 синих и 10 зеленых шариков?

N = 2I

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: алфавитный подход

Позволяет определить количество информации в тексте, отвлекаясь от содержания информации, воспринимая ее как последовательность знаков. Алфавит – множество символов, используемых для записи текста. Мощность алфавита – полное количество символов в алфавите. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то для определения количества информации можно воспользоваться формулой:

32 = 2I

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: алфавитный подход

Для русского алфавита (без буквы ё): Мощность алфавита (количество равновероятных событий N) = 32, тогда количество информации I, которое несет каждый символ, вычисляется по формуле:

И равно 5 бит.

Какое количество информации несет один символ алфавита мощностью 2, 4, 8, 16, 256 символов?

ИЗМЕРЕНИЕ ИНФОРМАЦИИ: алфавитный подход

Алфавит из 256 символов используется для представления текстов в компьютере.

Пусть К – количество символов в тексте, i – информационный «вес» одного символа. Тогда при алфавитном подходе размер информации, содержащейся в тексте I, вычисляется по формуле:

I = К · i

Решение задач

1. Книга, набранная с помощью компьютера, содержит 150 страниц. На каждой странице – 40 строк, в каждой строке – 60 символов. Какой объем информации в книге?

2. Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита?

3. Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

4. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого записано это сообщение?

Решение задач

5. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?

6. Сколько символов составляет сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?

7. Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?

8. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в этом алфавите, если все сообщение содержит 1125 байт?

9. Для записи сообщения использовался 64-х символьный алфавит

Каждая страница содержит 30 строк. Все сообщение содержит 8775 байт информации и занимает 6 страниц. Сколько символов в строке?

10. Сообщение занимает 2 страницы и содержит 1/16 Кбайт информации. На каждой странице записано 256 символов. Какова мощность алфавита?

11. Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере, равна 256. Какое количество информации в байтах может ввести пользователь за 1 минуту.

12. Скорость чтения ученика 10 класса составляет приблизительно 250 символов в минуту. Приняв мощность используемого алфавита за 64, определите, какой объем информации в килобайтах получит ученик, если он будет непрерывно читать в течение 40 минут.